Un nuovo metodo statistico per rilevare le allucinazioni nei modelli di linguaggio AI | Chatgpt Italiano Login | Llm Large Language Model | Llm Meaning | Turtles AI

Un nuovo metodo statistico per rilevare le allucinazioni nei grandi modelli di linguaggio AI: una svolta per migliorare l’affidabilità delle risposte?

Nel campo dell’AI, l’affidabilità delle risposte generate dai grandi modelli di linguaggio (LLM) come ChatGPT e Gemini è cruciale. Un team di ricercatori ha sviluppato un metodo basato sull’entropia semantica per identificare le allucinazioni, ovvero risposte inventate e scorrette, migliorando significativamente l’accuratezza delle risposte fornite.

I modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT e Gemini hanno dimostrato impressionanti capacità di ragionamento e risposta a domande. Tuttavia, spesso generano risposte false o non fondate, un fenomeno noto come "allucinazione". Questi errori possono compromettere l’adozione dei LLM in vari campi, inclusi il diritto, il giornalismo e la medicina, dove informazioni inesatte possono avere conseguenze gravi. Finora, gli sforzi per incoraggiare la veridicità attraverso la supervisione o il rinforzo hanno avuto solo successi parziali. I ricercatori necessitano di un metodo generale per rilevare le allucinazioni negli LLM che funzioni anche con domande nuove e sconosciute. Il nuovo metodo proposto si basa sull’entropia semantica, un concetto statistico utilizzato per misurare l’incertezza delle risposte generate dai modelli, valutando il significato delle risposte piuttosto che la loro forma specifica.

La sfida principale affrontata dal team è stata la varietà delle forme in cui una stessa idea può essere espressa. L’approccio tradizionale basato sull’entropia lessicale, che misura la variazione nelle sequenze di parole, è risultato inadeguato per le generazioni linguistiche libere. L’entropia semantica, invece, si concentra sull’incertezza a livello di significato, raggruppando risposte con significati simili prima di calcolare l’entropia. Questo metodo funziona senza una conoscenza preliminare del compito specifico, è applicabile a nuovi compiti non visti in precedenza, e non richiede dati specifici del compito.

Per rilevare le confabulazioni, cioè generazioni arbitrarie e scorrette, il metodo campiona diverse risposte possibili a ciascuna domanda e le raggruppa algoritmicamente in base ai loro significati. L’entropia semantica viene poi calcolata sulla distribuzione dei significati delle risposte. Un’alta entropia semantica indica un’alta incertezza, segnalando una probabile confabulazione. Questo permette agli utenti di capire quando devono fare attenzione alle risposte degli LLM e apre nuove possibilità per l’uso degli LLM in contesti dove l’affidabilità è essenziale.

I risultati ottenuti dal metodo sono stati testati su diversi dataset e compiti, dimostrando un miglioramento significativo nella rilevazione delle confabulazioni rispetto ai metodi basati sull’entropia lessicale e altre tecniche di stima dell’incertezza. Ad esempio, su dataset come TriviaQA, SQuAD, BioASQ, NQ-Open e SVAMP, il metodo ha migliorato l’accuratezza delle risposte riducendo le risposte errate dovute a confabulazioni.

Un altro aspetto interessante del metodo è la sua capacità di rilevare confabulazioni in generazioni più lunghe, come i paragrafi biografici. Questo viene fatto decomponendo il testo in affermazioni fattuali e generando domande che potrebbero aver portato a quelle affermazioni. Successivamente, vengono generate nuove risposte a queste domande e l’entropia semantica viene calcolata su queste risposte. Questo approccio ha superato i metodi basati sull’autovalutazione e altre tecniche di rilevazione delle confabulazioni, dimostrando la sua efficacia anche in contesti complessi.

In sintesi, il nuovo metodo basato sull’entropia semantica rappresenta un passo avanti significativo nella rilevazione delle allucinazioni nei LLM. La sua robustezza, indipendenza dal contesto specifico del compito e capacità di generalizzare a nuovi compiti lo rendono uno strumento potente per migliorare l’affidabilità degli LLM. Questo è particolarmente importante in campi dove la precisione è cruciale e potrebbe facilitare una più ampia adozione dei LLM in applicazioni critiche.

Punti chiave

• Metodo basato sull’entropia semantica per rilevare le allucinazioni nei LLM.
• Miglioramento significativo nell’accuratezza delle risposte su vari dataset.
• Capacità di rilevare confabulazioni anche in testi più lunghi e complessi.
• Potenziale per una maggiore adozione dei LLM in applicazioni critiche grazie all’aumento dell’affidabilità.