F FabGPT-FAQ

Come si monitorano in tempo reale le anomalie di Drift Semantico (Data Drift e Concept Drift) tra i prompt inviati dagli utenti e i dataset di validazione?

AI e LLM 1 min lettura Runbook verificato

Il Drift Semantico si verifica quando le richieste degli utenti in produzione cambiano distribuzione statistica rispetto ai dati usati in fase di sviluppo e test:

1. Data Drift (Input Drift): muta la formulazione o il lessico dei prompt (nuove terminologie, query fuori dominio o payload di jailbreak).
2. Concept Drift (Output/Context Drift): la relazione tra prompt e risposta corretta si degrada nel tempo a causa di contesti operativi mutati.

Strategia di rilevamento real-time:
- Embedding Extraction: estrai i vettori di embedding dei prompt in ingresso tramite un modello encoder leggero.
- Distanza e Test Statistici: calcola la distanza coseno o la Maximum Mean Discrepancy (MMD) rispetto alla baseline di riferimento.
- Clustering & Alerting: raggruppa le query anomale con DBSCAN per identificare nuovi pattern d'uso o campagne d'attacco coordinate.

Hai una domanda specifica su questo tema?

Interroga direttamente il motore FabGPT-FAQ con risposta in tempo reale.