François Chollet guida una nuova iniziativa per testare l’AI | | Intelligenza artificiale campi di applicazione | App intelligenza artificiale aranzulla | Turtles AI

François Chollet, ex ingegnere di Google, co-fonda la ARC Prize Foundation, una no-profit per sviluppare benchmark in grado di valutare la capacità dell’AI di raggiungere un’intelligenza simile a quella umana. L’organizzazione svilupperà nuove competizioni e test avanzati per l’AGI.

Punti chiave:

• Creazione della ARC Prize Foundation da François Chollet per promuovere il progresso nell’AI generale (AGI).
• Introduzione di benchmark innovativi per misurare le capacità umane di base nelle AI.
• Collaborazioni con leader di settore per migliorare gli standard AGI.
• Lancio di nuove competizioni e benchmark per il 2025.

François Chollet, celebre ricercatore nel campo dell’AI ed ex ingegnere di Google, ha annunciato la creazione di una nuova organizzazione no-profit, la ARC Prize Foundation, che si pone l’obiettivo ambizioso di ridefinire i parametri per valutare l’AI generale (AGI). Il termine AGI, pur rimanendo controverso, si riferisce solitamente a un tipo di AI capace di affrontare compiti complessi che vanno oltre i limiti imposti dai dati di addestramento. La fondazione, guidata da Greg Kamradt, ex direttore tecnico di Salesforce e attualmente presidente dell’organizzazione, punta a stabilire nuovi standard attraverso benchmark mirati e competizioni globali.

Il cuore del progetto ruota attorno all’espansione dell’ARC-AGI, un test ideato da Chollet nel 2019 per valutare la capacità delle AI di risolvere problemi mai visti prima, utilizzando solo competenze acquisite e capacità di adattamento. L’approccio si distingue dai tradizionali benchmark che premiano AI capaci di risolvere problemi complessi ma specifici. Infatti, l’ARC-AGI propone compiti sotto forma di puzzle visivi, concepiti per misurare l’abilità delle AI di comprendere e creare schemi nuovi. Nonostante alcuni progressi, le AI più avanzate, come il modello o3 di OpenAI, hanno mostrato significative limitazioni, spesso compensando la mancanza di intuizione con l’uso di enormi risorse computazionali. Chollet sottolinea che un’AI veramente generale dovrebbe eccellere in tali test con efficienza e senza dipendere da calcoli massicci.

Nel 2025, la ARC Prize Foundation introdurrà una seconda generazione di benchmark ARC-AGI e lancerà una competizione mirata a ispirare sviluppi significativi nell’AGI. Parallelamente, si prevede di avviare una rete accademica per promuovere collaborazioni internazionali e condividere progressi nel settore. L’organizzazione intende inoltre progettare un terzo benchmark che corregga alcune criticità degli attuali test, come la suscettibilità delle AI ad approcci basati sulla forza bruta.

Mentre la comunità scientifica continua a discutere la definizione stessa di AGI, la ARC Prize Foundation mira a chiudere il divario tra capacità umane e artificiali, senza limitarsi a confronti su prestazioni sovrumane. Nonostante le critiche ricevute, Chollet ribadisce che l’obiettivo finale è creare test che siano facili per gli esseri umani, ma rappresentino una sfida per le macchine. Sarà un punto di svolta quando le AI raggiungeranno risultati umani senza necessità di formazione specifica.

Con un focus sulla trasparenza e il progresso collaborativo, la fondazione sta già costruendo una coalizione con i principali laboratori di AI, tra cui potenziali partnership con OpenAI. Sam Altman, CEO di OpenAI, ha recentemente espresso interesse a collaborare per sviluppare nuovi standard AGI, alimentando aspettative sulla futura evoluzione del settore. La ARC Prize Foundation rappresenta un’iniziativa ambiziosa e audace per affrontare le sfide della ricerca nell’AI.

Con il lancio della seconda generazione di ARC-AGI, il 2025 potrebbe segnare una nuova era per la comprensione e la misurazione dell’AI generale.