Un modello multimodale tratta più tipi di dato nello stesso spazio: legge immagini e testo insieme (e sempre più spesso audio e video), ragionandoci in modo unificato – descrivere una foto, estrarre dati da una fattura scansionata, spiegare un grafico, trascrivere e riassumere una riunione.
Come funziona, in breve: un encoder trasforma l'immagine in token che il transformer tratta accanto a quelli del testo – per il modello, "vedere" è leggere un altro alfabeto. I limiti da conoscere: la risoluzione effettiva è limitata (i dettagli minuti si perdono), il conteggio di oggetti e la lettura di layout complessi restano fragili, e le allucinazioni valgono anche sulle immagini – descrizioni sicure di cose che non ci sono.
Sul pratico: per l'OCR puro di documenti, gli strumenti dedicati restano più prevedibili; il multimodale vince quando serve capire, non solo leggere. E i VLM aperti girano ormai anche in locale.