Elsa, l’AI della FDA sotto accusa per errori nei dati e mancanza di controlli | | | | Turtles AI

Elsa, l’assistente generativo AI della FDA, è stato lanciato in anticipo e sotto budget. È progettato per velocizzare revisioni scientifiche e gestione interna, ma ex e attuali dipendenti denunciano allucinazioni e riferimenti inventati. Il vero nodo rimane la supervisione umana.

Punti chiave:

•  Elsa riduce revisioni in giorni a pochi minuti
•  Alcuni dipendenti segnalano creazione di studi inesistenti
•  Nessun obbligo di utilizzo o formazione per il personale
•  Prevalenti critiche sulla mancanza di controlli e supervisione umana

La Food and Drug Administration ha distribuito internamente Elsa, un assistente AI generativo che opera nella propria infrastruttura GovCloud per velocizzare compiti come la sintesi di eventi avversi, il confronto di etichette, la revisione di protocolli clinici e l’individuazione di obiettivi prioritari per ispezioni, garantendo che tutti i dati restino confinati all’interno dell’agenzia e non vengano utilizzati per addestrare modelli esterni. L’annuncio ufficiale del lancio, reso da Marty Makary il 2 giugno 2025, ha sottolineato il completamento anticipato rispetto alla scadenza prevista per il 30 giugno, con risparmi sui costi e il raggiungimento degli obiettivi pilota. Tuttavia, dietro le dichiarazioni ottimistiche, emerge crescente tensione: fonti interne anonime riferiscono che l’implementazione sarebbe stata troppo rapida e le capacità di Elsa sovrastimate, con alcuni revisori che affermano che il risparmio di tempo non corrisponde ai benefici rivendicati.

Tre dipendenti attuali avrebbero riferito a CNN che Elsa genera “studi inesistenti” e rappresenta la classica forma di “hallucination”, presentando citazioni false o riepiloghi inaccurati con tono deciso, rendendo impossibile affidarsi ai suoi output senza verifica rigorosa. Un funzionario ha definito il sistema “inattendibile per compiti critici” se non accompagnato da controllo umano, mentre un altro rivela che il tentativo di risparmiare tempo si traduce in maggior carico di lavoro legato alla necessità di verifica. La FDA ha precisato che l’uso dello strumento è facoltativo e nessun membro del personale è obbligato a partecipare a sessioni formative o ad utilizzarlo.

Esperti di regolamentazione ed etica sottolineano l’importanza di mantenere la presenza umana nel ciclo decisionale, soprattutto in un contesto in cui ogni errore può compromettere la sicurezza dei pazienti: “human in the loop” è considerato fondamentale per verificare l’esistenza delle fonti e l’affidabilità delle informazioni generate. Alcuni osservatori rimarcano che il rilascio anticipato di Elsa potrebbe essere stato in parte dettato da tagli al personale – circa 3.500 esuberi – e da pressioni interne sull’efficienza, aumentando il sospetto che il progetto sia stato accelerato per ragioni di costo piuttosto che di preparazione tecnica.

Pur integrando linee guida FDA già previste per gestire i dispositivi abilitati all’AI – come quelle emanate nei primi mesi del 2025 riguardo la gestione del ciclo di vita, trasparenza, bias e modifiche predeterminate – rimane un vuoto operativo: Elsa sembra implementata senza una governance etica robusta né meccanismi obbligatori di controllo o formazione del personale. All’interno di questo quadro, il confronto tra il potenziale tecnologico e i limiti reali affiora con nettezza: se l’AI di per sé non è insensata, l’assenza di regole chiare e di una supervisione strutturata può rendere lo strumento inadatto in ambiti ad alto rischio sanitario.

Un’iniziativa che punta all’efficienza ma che espone le contraddizioni tra capacità tecnologiche e responsabilità umana.