Reka Flash 3: un modello di ragionamento 21B con grandi prestazioni | Chatgpt gratis android | Chat gpt gratis online | Llm ai | Turtles AI

Reka ha recentemente rilasciato in open source una versione preliminare di Reka Flash 3, un modello linguistico multimodale da 21 miliardi di parametri, progettato per eccellere in attività come chat generali, codifica, istruzione e chiamate di funzione. Questo modello compatto offre prestazioni competitive rispetto a soluzioni proprietarie come OpenAI o1-mini, risultando ideale per applicazioni che richiedono bassa latenza o distribuzioni su dispositivi locali. La sua capacità di gestire contesti fino a 32.000 token lo rende particolarmente versatile.

Punti chiave:

• Modello open source da 21 miliardi di parametri
• Prestazioni competitive con soluzioni proprietarie
• Supporto per contesti estesi fino a 32.000 token
• Adatto per applicazioni a bassa latenza e su dispositivi locali

Il processo di addestramento di Reka Flash 3 è stato meticoloso, iniziando con un pre-addestramento su un insieme eterogeneo di dati sintetici e pubblicamente accessibili. Successivamente, il modello è stato ottimizzato con istruzioni basate su dati curati di alta qualità per migliorarne le prestazioni. Nella fase finale, è stato applicato l’apprendimento per rinforzo utilizzando REINFORCE Leave One-Out (RLOO), sfruttando sia ricompense basate su modelli che su regole per potenziare ulteriormente le sue capacità. A differenza di modelli specializzati in matematica o codifica, Reka Flash 3 mira a miglioramenti generali attraverso l’apprendimento per rinforzo.

Le prestazioni di Reka Flash 3 sono notevoli: su AIME-2024, con un budget di 16 passaggi di ragionamento, il modello ha dimostrato un’efficienza significativa. Inoltre, su WMT’23, ha raggiunto un punteggio COMET di 83,2, evidenziando miglioramenti rispetto alle versioni precedenti nella comprensione multilingue. Tuttavia, essendo un modello più compatto, potrebbe non essere l’opzione ideale per attività che richiedono una vasta conoscenza, come indicato dal suo punteggio MMLU-Pro di 65,0. Si consiglia, quindi, di integrarlo con la ricerca web per compiti che richiedono conoscenze approfondite.

Un aspetto distintivo di Reka Flash 3 è la sua capacità di "pensare" prima di generare una risposta, utilizzando tag per delimitare il processo di ragionamento. Questo meccanismo consente al modello di interrompere il ragionamento dopo un determinato numero di passaggi, garantendo comunque output ragionevoli. Questa funzionalità permette di gestire il tempo di elaborazione in base a budget predefiniti, offrendo flessibilità agli sviluppatori. 

In termini di distribuzione, Reka Flash 3 è ottimizzato per applicazioni economiche che richiedono bassa latenza o esecuzione su dispositivi locali. Con una precisione completa, il modello occupa 39 GB (fp16), ma può essere compresso fino a 11 GB mantenendo prestazioni elevate grazie alla quantizzazione a 4 bit. Questo lo rende più efficiente rispetto a modelli più grandi come QwQ-32B, che richiede 64 GB a bf16 e 18 GB con quantizzazione a 4 bit. 

È importante notare che, sebbene Reka Flash 3 sia stato progettato principalmente per la lingua inglese, ha dimostrato una certa comprensione di altre lingue. Tuttavia, in alcuni casi, il modello potrebbe elaborare il ragionamento in inglese anche quando le domande sono poste in altre lingue, influenzando la qualità dell’output. Inoltre, il modello non ha subito un allineamento o un addestramento approfondito, suggerendo margini di miglioramento futuri. 

Per chi desidera testare Reka Flash 3, è disponibile una versione di prova su Reka Space. Inoltre, i pesi del modello sono scaricabili e modificabili sotto licenza Apache 2.0, offrendo agli sviluppatori e ai ricercatori una base potente ma leggera su cui costruire applicazioni personalizzate. 

 Reka Flash 3 rappresenta un passo significativo nel campo dei modelli linguistici multimodali, combinando efficienza, versatilità e accessibilità, offrendo nuove opportunità per applicazioni innovative nel settore dell’AI.