In un modello MoE, i blocchi feed-forward sono sostituiti da una squadra di esperti (sotto-reti) più un router che, token per token, attiva solo i 2-4 più adatti. Risultato: un modello con moltissimi parametri totali ma una frazione di parametri attivi per ogni token – capacità da gigante, costo di calcolo da medio.
È l'architettura dietro molti dei modelli migliori degli ultimi anni (da Mixtral 8x7B in poi, e diversi frontier chiusi). Le sfumature oneste: la memoria serve comunque tutta (tutti gli esperti vanno caricati: un MoE da 47B totali/13B attivi occupa come un 47B), il che li rende ottimi per chi serve API a volume e meno per la GPU di casa; e gli "esperti" non sono specialisti tematici leggibili ("quello di matematica") ma pattern statistici – il nome promette più antropomorfismo di quanto mantenga.
Quando leggi le specifiche di un MoE, conta i parametri giusti: quelli attivi dicono il costo, quelli totali la memoria.