Le batch API rovesciano il patto: rinunci alla risposta immediata – carichi un lotto di richieste e i risultati arrivano entro ore (di solito con garanzia entro 24) – e in cambio paghi circa la metà. Per il provider è capacità riempita nei momenti morti; per te è uno sconto strutturale su tutto ciò che non è interattivo.
I casi giusti: classificare o arricchire un dataset, generare descrizioni per diecimila prodotti, valutazioni notturne, riscritture di massa (il caso UglyFeed: rielaborare feed RSS non ha bisogno del tempo reale), report periodici. Il pattern architetturale: separa nel tuo sistema ciò che l'utente aspetta adesso da ciò che può maturare in coda – spesso è più di quanto pensi, e ogni chiamata spostata sul binario lento costa metà. Combinato con prompt caching e modelli dimensionati, il conto dell'API si ridimensiona davvero.