Anthropic annuncia caching rapido con Claude

Anthropic ha annunciato una nuova funzionalità chiamata Prompt Caching with Claude che potenzia le capacità di Claude per compiti ripetitivi con grandi quantità di informazioni dettagliate contestuali. La nuova funzionalità rende Claude più veloce, più economico e più potente, disponibile oggi in versione Beta tramite l’API di Anthropic.

Il Prompt Caching
Questa nuova funzionalità fornisce un potente supporto per gli utenti che utilizzano costantemente istruzioni altamente dettagliate che utilizzano esempi di risposte e contengono una grande quantità di informazioni di background nel prompt, consentendo a Claude di riutilizzare i dati con la cache. Ciò migliora la coerenza dell’output, velocizza le risposte di Claude fino al 50% (riduzione della latenza) e rende anche l’utilizzo fino al 90% più economico.

Il Prompt Caching with Claude è particolarmente utile per progetti complessi che si basano sugli stessi dati ed è utile per le imprese di tutte le dimensioni, non solo per le organizzazioni di livello enterprise. Questa funzione è disponibile in versione Beta pubblica tramite l’API di Anthropic per l’uso con Claude 3.5 Sonnet e Claude 3 Haiku.

L’annuncio elenca i seguenti modi in cui il Prompt Caching migliora le performance:

Agenti di conversazione: Ridurre costi e latenze per conversazioni prolungate, specialmente quelle con istruzioni lunghe o documenti caricati.
Elaborazione di documenti di grandi dimensioni: Incorpora materiale completo a lungo termine nel tuo prompt senza aumentare la latenza di risposta.
Set di istruzioni dettagliate: Condividi ampi elenchi di istruzioni, procedure ed esempi per perfezionare le risposte di Claude senza incurring costi ripetuti.
Assistenti di codifica: Migliora l’autocompletamento e le domande e risposte sulla base del codice mantenendo una versione riassunta della base di codice nel prompt.
Utilizzo di strumenti agentici: Migliora le prestazioni per scenari che coinvolgono chiamate multiple agli strumenti e modifiche iterative del codice, dove ogni passaggio richiede tipicamente una nuova chiamata API.”

Maggiori informazioni sull’API di Anthropic qui:
Costruisci con Claude
Esplora gli ultimi modelli – Prezzi
Immagine in primo piano di Shutterstock/gguy