Dioptra è uno strumento che testa il rischio dei modelli di AI | | | | Turtles AI

 NIST Rilascia Dioptra: Strumento per Valutare la Sicurezza dei Modelli di Intelligenza Artificiale

Punti chiave:
- Strumento Web Open Source: Dioptra, uno strumento modulare rilasciato dal NIST, aiuta a valutare i rischi dei modelli di AI.
- Focus su Attacchi Avversari: Consente di testare l’impatto di attacchi che avvelenano i dati di addestramento sui modelli di AI
- Collaborazione Internazionale: Parte della partnership tra Stati Uniti e Regno Unito per migliorare la sicurezza dell’AI
- Limitazioni Attuali: Funziona solo con modelli scaricabili localmente, escludendo quelli protetti da API.

Il National Institute of Standards and Technology (NIST) ha recentemente rilanciato Dioptra, un banco di prova open source progettato per misurare come gli attacchi dannosi, specialmente quelli che avvelenano i dati di addestramento, possono influire sulle prestazioni dei sistemi di AI. Questo strumento basato sul web, disponibile gratuitamente, mira a supportare le aziende e gli sviluppatori di AI nella valutazione e mitigazione dei rischi associati all’uso dell’AI.

Dioptra, che prende il nome da un antico strumento astronomico, è stato inizialmente lanciato nel 2022 e si ripresenta ora con nuove funzionalità per facilitare la ricerca e il confronto tra diversi modelli di AI. Secondo il NIST, Dioptra permette di esporre i modelli a minacce simulate, creando un ambiente di "red-teaming" che consente di testare la resilienza dei modelli stessi contro attacchi avversari.

 Funzionalità e Obiettivi di Dioptra

L’obiettivo principale di Dioptra è fornire una piattaforma comune per la comunità scientifica, le agenzie governative e le piccole e medie imprese, per condurre valutazioni dettagliate sulle prestazioni dei sistemi di AI. Il software può essere utilizzato per verificare le dichiarazioni degli sviluppatori riguardo la sicurezza e l’efficacia dei loro modelli, un compito reso sempre più necessario dalla crescente complessità e opacità dei moderni sistemi di AI.

 Contesto e Collaborazioni Internazionali

La ripubblicazione di Dioptra si inserisce in un contesto di crescente preoccupazione globale per la sicurezza dell’AI. Questo strumento è stato presentato insieme a nuovi documenti del NIST e dell’AI Safety Institute, che delineano strategie per mitigare i pericoli dell’AI, come l’abuso della tecnologia per creare pornografia non consensuale. Parallelamente, il Regno Unito ha lanciato Inspect, un set di strumenti simile, per valutare le capacità e la sicurezza dei modelli di AI.

Gli Stati Uniti e il Regno Unito hanno annunciato una collaborazione continua per lo sviluppo congiunto di test avanzati sui modelli di AI, formalizzata durante l’AI Safety Summit a Bletchley Park nel novembre scorso.

 Limiti Attuali e Futuri

Nonostante il suo potenziale, Dioptra presenta alcune limitazioni. Al momento, funziona solo con modelli che possono essere scaricati e utilizzati localmente. Questo esclude modelli accessibili solo tramite API, come il GPT-4 di OpenAI. Tuttavia, il NIST suggerisce che Dioptra può comunque fornire indicazioni preziose sui tipi di attacchi che potrebbero ridurre l’efficacia di un sistema di IA e quantificare l’impatto di questi attacchi sulle prestazioni.

Il NIST ha sottolineato che, sebbene Dioptra non possa eliminare completamente i rischi associati ai modelli di AI, esso rappresenta un passo significativo verso una comprensione più chiara delle vulnerabilità e dei rischi potenziali. La continua evoluzione e l’implementazione di strumenti come Dioptra sono essenziali per migliorare la sicurezza e l’affidabilità dei sistemi di AI, contribuendo a un uso più responsabile e sicuro della tecnologia.