F FabGPT-FAQ

Cos'è il test-time compute (e i modelli di reasoning)?

AI e LLM 2 min lettura Runbook verificato

L'idea che ha aperto l'ultima frontiera: invece di spendere di più solo in addestramento, si lascia che il modello spenda più calcolo al momento della risposta – generando un ragionamento interno (catene di pensiero, tentativi, autoverifiche) prima di produrre la risposta finale. I "modelli di reasoning" sono addestrati apposta, con RL sui problemi verificabili, a usare bene questo tempo di riflessione.

Il guadagno è reale su matematica, codice e pianificazione – problemi dove si può controllare un tentativo – e scala con il budget: più token di pensiero, risposte migliori, fino a un punto. I costi altrettanto reali: latenza e prezzo (i token di ragionamento si pagano), e su compiti semplici il sovrappensiero non aggiunge nulla.

Regola operativa: reasoning per i problemi difficili e verificabili, modelli classici per estrazione, chat e compiti di routine – scegliere il modello ora include anche quanto farlo pensare.

Hai una domanda specifica su questo tema?

Interroga direttamente il motore FabGPT-FAQ con risposta in tempo reale.