A ogni passo l'LLM produce una distribuzione di probabilità sul prossimo token. La temperatura decide come si pesca da quella distribuzione: vicino a 0 si sceglie quasi sempre il token più probabile (risposte ripetibili, conservative), salendo verso 1 e oltre si dà spazio ai token meno probabili (varietà, creatività, ma anche più deragliamenti).
Regole pratiche: estrazione dati, classificazione, codice → temperatura bassa (0–0.3); brainstorming e scrittura creativa → 0.7–1. Il parametro gemello è top_p (nucleus sampling): limita la scelta ai token che cumulano una certa probabilità – si regola l'uno o l'altro, raramente entrambi. E anche a temperatura 0 un LLM non è davvero deterministico tra versioni e hardware diversi: per la riproducibilità vera servono altri strumenti.