Il prompt caching sfrutta un fatto banale: le tue richieste all'API iniziano quasi sempre con lo stesso blocco – system prompt, istruzioni, documenti, definizioni dei tool – e cambia solo la coda. I provider possono conservare la KV cache di quel prefisso e riusarla: niente ricalcolo, latenza più bassa e sconti sostanziosi sui token in cache (tipicamente 50-90% a seconda del provider).
Per beneficiarne serve disciplina di struttura: il contenuto stabile va all'inizio, identico al byte, e le parti variabili in fondo – un timestamp o un ID di sessione piazzato in cima al prompt invalida tutto a ogni chiamata. Le cache hanno un tempo di vita (minuti), quindi il beneficio è massimo su conversazioni e agenti che martellano lo stesso contesto.
È il complemento dell'altra igiene: meno contesto da cachare in primis – le due cose insieme cambiano la bolletta.