CriticGPT: Nuovo strumento per il miglioramento della revisione del codice AI | Festina Lente - Notizie, recensioni e approfondimenti sull’intelligenza artificiale | Turtles AI

CriticGPT: un nuovo strumento per migliorare la revisione del codice AI

Punti chiave

• CriticGPT migliora del 60% le prestazioni dei revisori umani nella rilevazione degli errori nei codici generati da ChatGPT.
• CriticGPT è stato addestrato con dati provenienti da bug naturali e bug inseriti manualmente, aumentando la sua capacità di rilevare errori complessi.
• Le critiche generate da CriticGPT sono preferite rispetto a quelle umane nel 63% dei casi per bug naturali e nel 85% per bug inseriti manualmente.
• CriticGPT ha dimostrato capacità di generalizzazione, identificando problemi anche in risposte non legate al codice.

OpenAI ha sviluppato CriticGPT, un modello basato su GPT-4, per identificare errori nei codici generati da ChatGPT. Quando utilizzato per revisionare i codici, CriticGPT permette ai revisori umani di superare quelli senza assistenza nel 60% dei casi. Questa integrazione migliorerà significativamente la precisione dei nostri sistemi di AI.

CriticGPT è stato addestrato per rilevare errori nel codice generato da ChatGPT. Questa innovazione nasce dalla necessità di superare i limiti intrinseci del Reinforcement Learning from Human Feedback (RLHF), dove gli esseri umani valutano le risposte dell’AI. Man mano che ChatGPT diventa più avanzato, i suoi errori si fanno più sottili e difficili da individuare, rendendo complesso il compito dei trainer umani. CriticGPT è stato creato proprio per affrontare questa sfida, offrendo critiche dettagliate che evidenziano le imprecisioni nelle risposte di ChatGPT.

Durante l’addestramento di CriticGPT, sono stati utilizzati dati provenienti da errori naturali dei modelli di AI e da bug inseriti manualmente da esperti. Questo approccio ha permesso di affinare il modello, rendendolo capace di identificare errori più complessi rispetto a quelli rilevati dai soli revisori umani. I dati sono stati raccolti attraverso un processo chiamato "tampering", dove esperti introducevano deliberatamente bug nel codice generato dal modello per testare la capacità di CriticGPT di rilevarli. Questo metodo ha migliorato la sottigliezza dei bug introdotti, aumentando la difficoltà nel rilevamento e rendendo CriticGPT uno strumento più robusto.

Le critiche generate da CriticGPT sono valutate in base a diverse caratteristiche, tra cui la completezza, la capacità di identificare bug specifici e l’accuratezza complessiva. I risultati mostrano che le critiche di CriticGPT sono preferite rispetto a quelle umane nel 63% dei casi quando si tratta di codice con bug naturali, e nel 85% dei casi quando si tratta di bug inseriti manualmente. Inoltre, CriticGPT aiuta i revisori umani a scrivere critiche più complete, riducendo allo stesso tempo il tasso di errori fittizi e piccole inesattezze.

La metodologia di addestramento utilizzata per CriticGPT includeva il Reinforcement Learning con feedback umano, combinato con una strategia di ricerca avanzata chiamata Force Sampling Beam Search (FSBS). Questa tecnica consente di generare critiche più lunghe e complete, riducendo il tasso di allucinazioni o errori inesistenti. FSBS ricerca attraverso diverse possibili critiche, selezionando quelle più promettenti in base a un modello di ricompensa.

CriticGPT non solo eccelle nel rilevamento di bug nel codice, ma ha anche dimostrato capacità di generalizzazione a compiti di assistenza generali. In un esperimento, il modello ha identificato problemi in risposte valutate come impeccabili da un primo annotatore umano nel 24% dei casi, rispetto al 6% senza l’assistenza di CriticGPT. Questo suggerisce che CriticGPT può migliorare la qualità delle risposte in vari contesti, rendendo il sistema di AI complessivamente più affidabile.