Amsterdam e l’algoritmo etico: un esperimento fallito nei servizi sociali | | | | Turtles AI

Amsterdam ha investito milioni in un sistema con AI “responsabile” per scoprire frodi negli assegni sociali, seguendo rigorosi criteri di equità e trasparenza. Nonostante ripetuti audit e corretivi, il modello ha fallito: restituiva errori, bias e non surclassava gli operatori umani.

Punti chiave:

• Il progetto Smart Check impiegava un algoritmo “spiegabile” e linee guida etiche.
• Partecipazione diretta dei beneficiari per ridurre pregiudizi e migliorare trasparenza.
• In fase pilota (2023) i bias sono ricomparsi e l’efficacia non ha superato l’operato umano.
• A fine 2024 l’esperimento è stato abbandonato, malgrado gli investimenti e il monitoraggio rigoroso.

A Amsterdam, città che ha puntato con decisione su un approccio di “AI responsabile”, il tentativo di costruire un algoritmo per intercettare frodi negli assegni sociali ha rivelato i limiti delle migliori intenzioni. La municipalità aveva investito centinaia di migliaia di euro e seguito meticolosamente indicazioni tecniche ed etiche, da linee guida su equità e trasparenza alla scelta di un modello spiegabile. Il sistema è stato testato da esperti accademici, verificato in profondità per bias e persino valutato da un consiglio di beneficiari: madri single e persone con background migratorio hanno potuto esprimere critiche e suggerimenti, contribuendo al design. 

Il progetto, noto come Smart Check, utilizzava quindici variabili specifiche – reddito, composizione del nucleo familiare, condizione abitativa – evitando consapevolmente informazioni sensibili come etnia, nazionalità e genere. Il modello iniziale mostrava una disparità nei falsi positivi tra cittadini olandesi e non olandesi, così l’amministrazione ha applicato tecniche di bilanciamento dei dati, ottenendo un’apparente parità statistica.

Tuttavia, durante la fase pilota effettiva nel 2023, il sistema ha sollevato più falsi allarmi del previsto e si è dimostrato comparabile – non superiore – agli assistenti sociali, segnalando richiedenti con figli in modo sproporzionato, riemergendo bias preesistenti. Anche la consultazione dei beneficiari ha evidenziato criticità fondamentali: è possibile progettare un modello imparziale basandosi su dati potenzialmente distorti? Ci si può affidare a una formula predittiva per decisioni che incidono profondamente sulla vita delle persone?

Con l’aumento delle pressioni politiche e pubbliche, a novembre 2023 il Comune ha deciso di interrompere lo sviluppo del sistema. Nei mesi seguenti, la fase pilota è stata silenziosamente archiviata, ponendo fine a un esperimento pluriennale che aveva suscitato attese e speranze.

La mancanza di dati individuali sui soggetti valutati – imposta dal GDPR – ha reso impossibile un audit indipendente completo, nonostante il Comune avesse condiviso codice e documentazione. I controlli sono stati effettuati in loco, con risultati aggregati restituiti ai giornalisti. Il codice e l’analisi metodologica sono stati pubblicati su GitHub e approfonditi da Lighthouse Reports, MIT Technology Review e Trouw. 

Un ulteriore risvolto tecnico emerge da confronti con altre esperienze internazionali: l’Italia e la Francia stanno affrontando cause legali e sanzioni per sistemi analoghi che hanno inflitto danni economici e morali a famiglie vulnerabili. La tecnologia resta considerata “opaca” e scarsamente responsabile, nonostante promesse di equità e controllo.

Amsterdam aveva dato vita a un robusto controllo: audit tecnici, peer review accademiche, impatto valutato da gruppi civici. Ma anche un approccio apparentemente impeccabile – trasparenza, equità, responsabilità – si è infranto sul terreno pratico, quando il sistema è entrato in funzione reale. Il sospetto è che alcuni ambiti, come l’assistenza sociale, possano essere intrinsecamente incompatibili con l’automazione predittiva. Nessuno scenario finale è definito, ma l’esperienza suggerisce quanto complesse siano queste sfide tecniche, etiche e normative.

L’esperimento Smart Check dimostra quanto sia fragile l’implementazione concreta dell’AI responsabile nei servizi sociali, anche quando progettata “secondo manuale”.