Modelli TTT: Una Nuova Frontiera per l’Efficienza nel Trattamento dei Dati | | | | Turtles AI

Modelli TTT: Una Nuova Frontiera per l’Efficienza nel Trattamento dei Dati
Nuove architetture di AI promettono di superare i transformer, riducendo il consumo energetico e aumentando le capacità di elaborazione.

Punti chiave:

  • Modelli TTT e la loro efficienza energetica rispetto ai transformer.
  • Sostituzione dello stato nascosto nei transformer con un modello di apprendimento automatico interno.
  • Capacità dei modelli TTT di processare grandi quantità di dati mantenendo dimensioni costanti.
  • Sviluppo e adozione di alternative ai transformer come i modelli SSM.

 

I modelli TTT, sviluppati da team di ricercatori delle più prestigiose università, promettono di superare le limitazioni dei transformer, offrendo un’efficienza senza precedenti nel trattamento dei dati con un consumo di risorse significativamente ridotto.

 

Negli ultimi anni, i transformer sono stati al centro dell’attenzione nel campo dell’AI, supportando modelli avanzati come Sora di OpenAI per la generazione di video, Claude di Anthropic e Google Gemini per la generazione di testi, fino a GPT-4o. Tuttavia, questi modelli stanno iniziando a incontrare ostacoli tecnici, in particolare legati alla computazione. La loro inefficienza nel processare e analizzare grandi quantità di dati, specialmente con hardware standard, sta portando a un aumento esponenziale e potenzialmente insostenibile della domanda di energia, man mano che le aziende costruiscono e ampliano infrastrutture per soddisfare le esigenze dei transformer.

 

Una soluzione promettente emersa di recente è l’architettura denominata "test-time training" (TTT), sviluppata da un team di ricercatori di Stanford, UC San Diego, UC Berkeley e Meta nel corso di un anno e mezzo. Questi modelli TTT non solo possono processare molti più dati rispetto ai transformer, ma lo fanno con un consumo di risorse computazionali nettamente inferiore. Un componente fondamentale dei transformer è lo "stato nascosto", una lunga lista di dati che il modello utilizza per "ricordare" ciò che ha appena processato. Ad esempio, se il modello sta leggendo un libro, i valori dello stato nascosto saranno rappresentazioni delle parole o parti di parole. Lo stato nascosto, pur essendo uno degli elementi che rendono i transformer così potenti, rappresenta anche il loro tallone d’Achille. Per generare una singola parola su un libro appena letto, il modello deve scansionare l’intera tabella di ricerca, un compito computazionalmente oneroso quanto rileggere l’intero libro.

 

Per ovviare a questo problema, il team guidato da Yu Sun, post-doc a Stanford e co-contributore nella ricerca TTT, ha ideato un modello di apprendimento automatico interno che sostituisce lo stato nascosto dei transformer. Questo modello interno, a differenza della tabella di ricerca dei transformer, non cresce all’aumentare dei dati processati. Invece, codifica i dati in variabili rappresentative chiamate "pesi", mantenendo così elevate prestazioni. Non importa quanti dati un modello TTT processi, la dimensione del suo modello interno rimane costante.

 

Sun e il suo team credono che futuri modelli TTT possano gestire efficacemente miliardi di dati, dai testi alle immagini, fino ai video. Ciò va ben oltre le capacità dei modelli attuali. "Il nostro sistema può generare parole su un libro senza la complessità computazionale di rileggere il libro ogni volta", afferma Sun. Modelli video di grandi dimensioni basati sui transformer, come Sora, possono processare solo dieci secondi di video, perché hanno una "mente" limitata a una tabella di ricerca. L’obiettivo finale del team è sviluppare un sistema in grado di processare lunghi video, avvicinandosi all’esperienza visiva di una vita umana.

 

Tuttavia, permangono dubbi sui modelli TTT. Anche se promettenti, non sono un sostituto immediato dei transformer. I ricercatori hanno sviluppato solo due piccoli modelli per lo studio, rendendo difficile il confronto con le implementazioni più grandi dei transformer. Mike Cook, docente senior al King’s College di Londra, sottolinea che, sebbene l’innovazione sia interessante, è prematuro determinare se sia superiore alle architetture esistenti.

 

Nonostante ciò, la ricerca in rapido sviluppo su alternative ai transformer segnala una crescente consapevolezza della necessità di una svolta. Questa settimana, la startup AI Mistral ha rilasciato un modello, Codestral Mamba, basato su un’altra alternativa ai transformer chiamata "state space models" (SSMs). Anche questi sembrano essere più efficienti dal punto di vista computazionale e scalabili su quantità maggiori di dati. AI21 Labs e Cartesia stanno esplorando anch’essi gli SSM, con quest’ultima che ha sviluppato alcuni dei primi SSM, incluso Codestral Mamba e Mamba-2.

 

Se questi sforzi avranno successo, potrebbero rendere l’AI generativa ancora più accessibile e diffusa rispetto a oggi, con tutte le implicazioni positive e negative che ciò comporta.