Strumenti di ricerca basati sull’AI: vulnerabilità e rischi evidenziati dai test | Chatgpt app | Chat gpt gratis | Llm cosa sono | Turtles AI

Una recente indagine ha rivelato come gli strumenti di ricerca basati sull’AI, come ChatGPT di OpenAI, possano essere vulnerabili a manipolazioni attraverso contenuti nascosti, con potenziali rischi per la sicurezza degli utenti e l’affidabilità dei risultati.

Punti chiave:

• Contenuti nascosti possono alterare le risposte dell’AI, influenzando la qualità e l’accuratezza delle informazioni.
• I rischi includono recensioni manipolate e generazione di codice dannoso.
• Gli esperti sottolineano la necessità di un uso responsabile e di un controllo rigoroso.
• La combinazione di ricerca e LLM richiede misure contro tecniche di inganno simili all’avvelenamento SEO.

Un’indagine condotta dal Guardian ha evidenziato vulnerabilità nella funzione di ricerca di ChatGPT, lo strumento di AI sviluppato da OpenAI. I test hanno dimostrato che pagine web contenenti testo nascosto possono manipolare le risposte dell’AI, modificando o condizionando il modo in cui le informazioni vengono presentate agli utenti. Tali tecniche, note come "iniezioni rapide" o manipolazioni attraverso contenuti nascosti, sono progettate per influenzare i modelli linguistici su cui si basa ChatGPT. Tra gli scenari esaminati, è emerso come queste tecniche possano essere sfruttate per garantire una valutazione positiva di prodotti o servizi, anche in presenza di recensioni negative nella stessa pagina web.

Gli esperti hanno scoperto che ChatGPT può essere indotto a ignorare il contesto complessivo di una pagina, se il testo nascosto include istruzioni specifiche. Ad esempio, in un test, un sito costruito appositamente con recensioni negative visibili e testo nascosto elogiativo ha portato il sistema a fornire un giudizio completamente positivo. Questo tipo di manipolazione potrebbe essere utilizzato per scopi commerciali o per diffondere disinformazione. Inoltre, gli stessi ricercatori hanno rilevato che il sistema di ricerca può restituire codice malevolo presente in siti web, creando potenziali rischi per gli sviluppatori che utilizzano ChatGPT per progetti di programmazione.

Secondo Jacob Larsen, esperto di sicurezza informatica presso CyberCX, la combinazione di modelli di ricerca e linguistici come gli LLM presenta sfide significative per la sicurezza. L’esperto ha evidenziato che, se non opportunamente mitigati, questi rischi potrebbero incoraggiare la creazione di siti web progettati per manipolare i risultati delle AI. Larsen ha però sottolineato che OpenAI sta probabilmente affrontando tali problematiche durante la fase di sviluppo e test della funzionalità.

Le preoccupazioni non si limitano alla manipolazione delle risposte: un caso recente ha visto un programmatore perdere denaro in un progetto di criptovaluta dopo aver utilizzato codice generato da ChatGPT contenente istruzioni fraudolente. Questo incidente, documentato dal ricercatore Thomas Roccia di Microsoft, dimostra come le vulnerabilità possano avere conseguenze reali e immediate.

Karsten Nohl, capo scienziato di SR Labs, ha paragonato queste problematiche al fenomeno del "SEO poisoning", una tecnica utilizzata dagli hacker per manipolare i risultati dei motori di ricerca al fine di promuovere contenuti dannosi o malware. Tuttavia, a differenza dei motori di ricerca consolidati come Google, i sistemi basati su LLM devono ancora sviluppare le contromisure necessarie per gestire in modo efficace questo tipo di minacce.

L’approccio raccomandato dagli esperti è quello di utilizzare strumenti basati sull’AI come supporto, piuttosto che come unica fonte di informazioni, mantenendo sempre un atteggiamento critico verso i risultati forniti. Sebbene OpenAI inserisca avvertenze sui possibili errori di ChatGPT, la crescente diffusione di questi strumenti rende fondamentale implementare misure di sicurezza adeguate per evitare che vulnerabilità come quelle identificate possano essere sfruttate su larga scala.

A margine, la riflessione principale si concentra sulla necessità di bilanciare innovazione tecnologica e sicurezza, garantendo che l’AI sia uno strumento affidabile per gli utenti.