Come si misura quantitativamente e si mitiga il degrado prestazionale causato dalla saturazione e dall'effetto 'Lost-in-the-Middle' nei loop agentici?

All'aumentare della lunghezza della cronologia di un agente (tool calls, output intermedi, documenti RAG), l'attenzione del trasformatore si concentra all'inizio e alla fine del contesto, ignorando informazioni cruciali poste al centro (effetto Lost-in-the-Middle). Per misurarlo: benchmark NIAH (Needle In A Haystack) multilivello inseriti nei log di sessione. Per mitigarlo: 1) adozione di context compaction dinamica eliminando payload e traceback non più rilevanti; 2) compressione dei token di cronologia tramite l0-compressor; 3) architettura a memoria episodica esterna su database vettoriale con re-ranking contestuale.