RAGAS (Retrieval Augmented Generation Assessment) è il framework standard per valutare quantitativamente e senza dataset annotati a mano la qualità di un sistema RAG:
Metriche di Retrieval (qualità del contesto estratto):
- Context Precision: misura se i chunk rilevanti si trovano nei primi posti della classifica di ricerca.
- Context Recall: misura se tutti i dati necessari a rispondere sono stati recuperati.
Metriche di Generazione (qualità della risposta del modello):
- Faithfulness (Fedeltà): misura quante affermazioni nella risposta sono effettivamente supportate dal contesto (anti-allucinazione).
- Answer Relevance: misura se la risposta risponde direttamente alla domanda iniziale dell'utente senza divagazioni.
Si integra nelle pipeline di CI/CD per bloccare regressioni nei prompt o nel chunking.