Un LLM su Windows 98: l’AI torna alle origini | Llm generative ai | Chatgpt login | Llm chatgpt | Turtles AI

Un team di ricercatori ha dimostrato che un modello di linguaggio avanzato può funzionare su un computer con Windows 98, Pentium II e 128 MB di RAM, raggiungendo prestazioni sorprendenti.

Punti chiave:

• Un LLM basato su Llama 2 è stato eseguito su un PC del 1998 con Windows 98, ottenendo 39,31 token al secondo.
• Il progetto ha utilizzato una versione modificata di llama2.c, compilata con Borland C++ 5.02.
• BitNet, un’architettura con pesi ternari, consente l’esecuzione di modelli da 7 miliardi di parametri su hardware obsoleto.
• EXO Labs promuove l’accesso all’AI su dispositivi datati, supportando la comunità open source.

Nel dicembre 2024, EXO Labs ha presentato un esperimento che ha attirato l’attenzione della comunità tecnologica: l’esecuzione di un modello di linguaggio di grandi dimensioni su un computer con Windows 98, dotato di un processore Pentium II a 350 MHz e 128 MB di RAM. Utilizzando una versione modificata di llama2.c di Andrej Karpathy, denominata llama98.c, compilata con Borland C++ 5.02, il team è riuscito a far funzionare un modello LLM da 260.000 parametri, raggiungendo una velocità di generazione di 39,31 token al secondo. Anche con modelli più grandi, come quello da 15 milioni di parametri, il sistema ha mantenuto prestazioni accettabili, generando 1,03 token al secondo.

Questo risultato è stato possibile grazie all’adozione di BitNet, un’architettura di trasformatori che utilizza pesi ternari (-1, 0, +1), riducendo significativamente le esigenze di memoria e calcolo. Con BitNet, un modello da 7 miliardi di parametri richiede solo 1,38 GB di spazio di archiviazione, rendendolo compatibile anche con hardware datato. Inoltre, BitNet è progettato per essere eseguito principalmente su CPU, evitando la necessità di costose GPU. Test hanno dimostrato che un modello da 100 miliardi di parametri può funzionare su una singola CPU a velocità di lettura umana, circa 5-7 token al secondo.

EXO Labs, fondata da ricercatori dell’Università di Oxford, mira a democratizzare l’accesso all’AI, consentendo l’esecuzione di modelli avanzati su una vasta gamma di dispositivi, inclusi quelli considerati obsoleti. L’organizzazione ha anche rilasciato il codice sorgente di llama98.c su GitHub, invitando la comunità a contribuire e sperimentare. Per facilitare la collaborazione, EXO Labs ha creato un canale Discord dedicato alla discussione sull’esecuzione di LLM su hardware datato, come vecchi Mac, Gameboy e Raspberry Pi.

Questo progetto evidenzia come l’ottimizzazione dei modelli e l’uso di architetture efficienti possano estendere le capacità dell’AI a dispositivi con risorse limitate, promuovendo un accesso più equo e sostenibile alla tecnologia.