Gli LLM non leggono parole ma token: frammenti di testo (in media ~4 caratteri in inglese, meno in italiano) prodotti dal tokenizer. "gatto" può essere un token, "gattopardo" tre. Si paga e si misura tutto in token.
La context window è quanti token il modello può tenere "in mente" contemporaneamente: prompt + conversazione + documenti + risposta. Sforata quella, il modello semplicemente non vede più il resto – non c'è memoria nascosta. Le finestre moderne vanno da 8k a milioni di token, ma attenzione: finestra grande ≠ attenzione uniforme (i modelli tendono a perdersi il centro dei contesti lunghi) e i costi crescono. Per questo si comprime ciò che entra (l0-compressor per l'output dei comandi) e si recupera solo il rilevante (RAG).