L’AI basata sulla ricerca non è pronta per il Prime Time: allucinazioni e problemi di citazione | Llm cosa sono | Large language models | Llm large language model | Turtles AI

Il rapporto del Tow Center evidenzia che gli strumenti di ricerca basati sull’AI, pur sempre più diffusi, commettono errori nel citare le fonti e nel recuperare contenuti accurati, compromettendo l’affidabilità delle informazioni e il traffico verso gli editori.

Punti chiave:

•  Elevato tasso di errori e citazioni imprecise.
•  Differenze marcate tra versioni premium e gratuite.
•  Violazione delle preferenze dei publisher (robots.txt).
•  Rischio per il traffico e la visibilità degli editori.

Nel contesto attuale, la crescente adozione di motori di ricerca AI ha sollevato serie preoccupazioni sul corretto recupero e citazione dei contenuti giornalistici, come evidenziato dal recente rapporto del Tow Center for Digital Journalism, il quale ha sottolineato che su oltre 1.600 query testate, più del 60% hanno prodotto risposte errate caratterizzate da attribuzioni sbagliate, URL inventati e una marcata propensione a fornire risposte definitive senza ammettere incertezze, generando così una falsa impressione di affidabilità; in modo paradossale, le versioni premium, pur avendo costi e presunte capacità maggiori, si sono rivelate più propense a errori con una sicurezza ingannevole rispetto alle controparti gratuite, esponendo una problematica critica nella gestione dell’accesso ai contenuti, in quanto i meccanismi di esclusione basati su robots.txt, sebbene teoricamente dovrebbero proteggere gli editori, vengono frequentemente ignorati o aggirati, con conseguenze dannose per il traffico organico e il riconoscimento dei contenuti originali, fenomeno confermato da ulteriori analisi e report di enti come Nieman Lab, HD Blog e Multiplayer.it, che evidenziano come tali lacune possano compromettere non solo la trasparenza delle citazioni ma anche la sostenibilità economica del settore giornalistico; corollario: solo attraverso un approccio collaborativo e trasparente tra sviluppatori AI ed editori sarà possibile mitigare questi rischi e valorizzare il potenziale degli strumenti di ricerca.

In particolare, ChatGPT Search di OpenAI ha mostrato notevoli carenze. Su 200 citazioni analizzate, 153 erano parzialmente o completamente errate, con il chatbot che attribuiva citazioni a fonti inesistenti o sbagliate. Ad esempio, ha attribuito una citazione di una lettera all’editore dell’Orlando Sentinel a un articolo pubblicato su Time.

Un altro esempio riguarda una citazione da un articolo del New York Times sulle balene in via di estinzione, per la quale ChatGPT ha fornito un link a un sito che aveva plagiato l’articolo originale. Inoltre, il chatbot raramente ammette incertezze nelle sue risposte; su 200 test, solo in sette casi ha utilizzato espressioni come "è possibile" o "potrebbe", o ha dichiarato di non poter trovare l’articolo esatto.

Questi risultati sollevano dubbi sulla capacità degli strumenti di ricerca basati sull’AI di fornire informazioni accurate e verificabili, evidenziando la necessità di miglioramenti significativi per garantire l’affidabilità delle informazioni fornite agli utenti.