Un gruppo di ricercatori dell’Università di Oxford ha condotto uno studio, pubblicato sulla rivista Nature, in cui si analizza un metodo per rilevare le probabilità che un modello linguistico di grandi dimensioni (LLM) manifesti “allucinazioni”.
Le allucinazioni sono tipicamente definite come la generazione di contenuti privi di senso o non fedeli al contenuto originale fornito e rappresentano un problema significativo per i sistemi di generazione del linguaggio naturale che utilizzano LLM, come ChatGPT o Gemini, poiché gli utenti non possono essere certi della correttezza delle risposte che gli vengono fornite.
I ricercatori si sono concentrati su un particolare tipo di allucinazione, che chiamano “confabulazioni”, dove i LLM forniscono risposte diverse alla stessa domanda, tali risposte sembrano plausibili e coerenti, ma in realtà sono inventate o inesatte.
Per rilevare le confabulazioni, il team utilizza un metodo basato sulla statistica stimando l’incertezza in base alla quantità di variazione delle frasi, lo scopo è quello di misurare l’entropia “semantica” delle generazioni di un LLM. Il processo di calcolo dell’entropia semantica coinvolge diversi passaggi:
- Probabilità delle Parole: L’LLM assegna una probabilità a ciascuna parola successiva in una frase.
- Probabilità dei Significati: Queste probabilità delle parole vengono convertite in probabilità sui significati, richiedendo una comprensione di come parole e frasi diverse possano esprimere lo stesso concetto o idea.
- Calcolo dell’Entropia: Con queste probabilità semantiche, l’entropia viene calcolata per misurare l’incertezza o la variabilità nei significati delle risposte generate.
Misurare l’entropia nella generazione è difficile perché le risposte potrebbero avere lo stesso significato (essere semanticamente equivalenti) nonostante siano espresse in modi diversi (essendo sintatticamente o lessicalmente distinte). Questo porta a stime di base dell’entropia, anche se la stessa risposta corretta potrebbe essere formulata in molti modi diversi senza cambiarne il significato.
Il rilevamento delle confabulazioni consente ai sistemi basati su LLM, di rendere gli utenti consapevoli dell’inaffidabilità delle risposte a una domanda specifica, o di integrare l’LLM con ricerche o recuperi di dati più accurati.
“Il nostro metodo sostanzialmente stima le probabilità nello spazio del significato, o ‘probabilità semantiche'”, ha affermato Jannik Kossen, coautore dello studio.
Uno dei punti di forza di questa tecnica è che funziona su set di dati e attività senza necessitare di una conoscenza a priori, non richiede dati specifici dell’attività e si può applicare a nuove attività. Questo progresso potrebbe aprire nuovi modi per implementare gli LLM in situazioni in cui gli errori potrebbero risultare pericolosi, come nel caso delle risposte a domande legali o mediche.
