AI e sviluppo software: un esordio complesso | OpenAI Login | ChatGPT italiano | OpenAI ChatGPT | Turtles AI

Un servizio innovativo, presentato come il "primo ingegnere software AI", mostra significativi limiti nella sua capacità di portare a termine compiti assegnati. Pur dimostrando potenzialità, le valutazioni evidenziano un funzionamento spesso inefficiente e problematico.

Punti chiave:

• Devin è stato lanciato come "ingegnere software AI" capace di gestire progetti autonomamente.
• La valutazione di 20 compiti ha evidenziato una capacità di completamento soddisfacente solo nel 15% dei casi.
• Errori ricorrenti includono soluzioni inadeguate, blocchi tecnici e la ricerca di funzioni inesistenti.
• I tester segnalano un’esperienza utente raffinata ma poco affidabile nelle prestazioni reali.

Nel marzo 2024, il panorama tecnologico è stato scosso dall’annuncio di "Devin", un agente AI definito il "primo ingegnere software autonomo". Creato dall’organizzazione Cognition AI, il bot prometteva di migliorare il settore dello sviluppo software. Capace di scrivere, testare ed eseguire codice, Devin è stato pubblicizzato come uno strumento completo per ingegneri e team di sviluppo, in grado di supportare progetti complessi e persino svolgere compiti personali, come ordinare il pranzo tramite piattaforme online. Integrato principalmente su Slack, Devin utilizza un ambiente di elaborazione basato su un contenitore Docker, con accesso a strumenti come terminali, editor di codice e API esterne. Tuttavia, a distanza di pochi mesi dal lancio commerciale, fissato a dicembre 2024 con un costo di partenza di 500 dollari al mese, emergono molteplici criticità.

Promosso come soluzione per automatizzare la programmazione end-to-end, Devin si avvale di più modelli AI, tra cui GPT-4 di OpenAI, adattandosi nel tempo a nuove tecnologie. La promessa di Cognition AI includeva operazioni che spaziano dalla migrazione di codice a compiti di assistenza quotidiana. Nonostante l’entusiasmo iniziale, i test sul campo hanno rivelato notevoli inefficienze. Un gruppo di data scientist di Answer.AI, composto da Hamel Husain, Isaac Flath e Johno Whitaker, ha sottoposto Devin a 20 prove pratiche, scoprendo che solo tre di queste sono state completate con successo. Tra le attività concluse positivamente figurano l’estrazione di dati da Notion per importarli in Google Sheets, la creazione di un localizzatore di pianeti e la ricerca su come sviluppare un bot Discord in Python. Tuttavia, per il resto delle sfide, i risultati sono stati perlopiù insoddisfacenti o inconcludenti.

Gli analisti riportano come Devin abbia dimostrato difficoltà crescenti nel gestire compiti apparentemente semplici, prolungandoli per giorni e generando soluzioni inutilizzabili o eccessivamente complesse. Un esempio emblematico è il tentativo di distribuire applicazioni su Railway, una piattaforma che non supporta tale operazione. Devin ha insistito per oltre un giorno su approcci non realizzabili, dimostrando scarsa capacità di riconoscere i propri limiti. A ciò si aggiungono errori di sicurezza rilevati da sviluppatori indipendenti e persino critiche sulla validità di alcuni video promozionali pubblicati da Cognition AI. Nonostante un’interfaccia intuitiva e un’esperienza utente ben strutturata, i tester sottolineano l’imprevedibilità delle prestazioni e il tempo perso in tentativi infruttuosi. Ciò evidenzia come l’autonomia del bot, una delle sue caratteristiche di punta, si sia trasformata spesso in un ostacolo.

Cognition AI non ha fornito dichiarazioni ufficiali in merito alle problematiche riscontrate. Devin, sebbene concettualmente promettente, lascia aperte molte domande sul futuro degli ingegneri software basati sull’AI.