Meta lancia Llama 3.1 405B: il nuovo modello AI open source che ridefinisce l’innovazione | | | | Turtles AI

Punti chiave:

• Meta presenta Llama 3.1 405B, un modello AI open source avanzato.
• Llama 3.1 supporta un contesto di 128K e otto lingue.
• Collaborazioni con oltre 25 partner tecnologici per supportare il lancio.
• Introduzione di strumenti di sicurezza come Llama Guard 3 e Prompt Guard.

Meta lancia il modello Llama 3.1 405B, una svolta nell’open source AI, destinato a ridefinire l’innovazione tecnologica grazie a caratteristiche avanzate e supporto multilanguage.

Meta ha annunciato con entusiasmo l’introduzione del modello Llama 3.1 405B, il più avanzato tra i modelli AI open source disponibili. In una lettera di Mark Zuckerberg, viene spiegato il valore dell’open source per sviluppatori, Meta e la società. Con un contesto esteso fino a 128K e il supporto per otto lingue, questo modello promette flessibilità, controllo e capacità di generare dati sintetici e distillare modelli, aprendo nuove possibilità per l’innovazione.

Il modello Llama 3.1 405B, definito come modello di frontiera, offre una versatilità senza precedenti e capacità all’avanguardia, rivaleggiando con i migliori modelli chiusi. Meta continua a sviluppare l’ecosistema Llama, integrando componenti aggiuntivi, tra cui un sistema di riferimento, strumenti di sicurezza come Llama Guard 3 e Prompt Guard, e il nuovo Llama Stack API per facilitare l’uso da parte di progetti di terze parti.

Meta ha stretto collaborazioni con oltre 25 partner, inclusi AWS, NVIDIA, Databricks, Dell, Azure e Google Cloud, garantendo servizi sin dal primo giorno di lancio. Il modello può essere testato negli Stati Uniti tramite WhatsApp e sul sito meta.ai, ponendo domande di matematica o codifica complesse.

L’implementazione del modello Llama 3.1 405B include un processo post-addestramento iterativo, con miglioramenti nella qualità dei dati sintetici utilizzati per la messa a punto supervisionata (SFT), l’ottimizzazione delle preferenze dirette (DPO) e l’utilizzo di tecniche di filtraggio avanzate per garantire la massima qualità dei dati. Meta ha adottato un approccio di sviluppo modulare, con componenti che possono essere utilizzati per creare agenti personalizzati e nuovi comportamenti agentici.

La disponibilità di modelli Llama 3.1 su piattaforme come Hugging Face e meta.ai permette alla comunità di sviluppatori di sfruttare immediatamente le capacità avanzate del modello, con supporto da partner tecnologici per ottimizzare l’inferenza e la messa a punto su larga scala.

Llama 3.1 è stato valutato su oltre 150 set di benchmark, mostrando prestazioni competitive con modelli di punta come GPT-4 e Claude 3.5 Sonnet. Le versioni aggiornate dei modelli da 8B e 70B offrono miglioramenti significativi in termini di traduzione multilingue, utilizzo di strumenti avanzati e capacità di ragionamento.

Il modello Llama 3.1 405B utilizza un’architettura transformer decoder-only, con un processo di post-addestramento che migliora continuamente la qualità dei dati sintetici attraverso più cicli di ottimizzazione. La quantizzazione a 8-bit permette di ridurre i requisiti computazionali, rendendo il modello eseguibile su un singolo nodo server.

Meta ha introdotto strumenti di sicurezza come Llama Guard 3 e Prompt Guard, e ha avviato una richiesta di commenti per l’API Llama Stack su GitHub, al fine di facilitare l’interoperabilità tra i vari componenti dell’ecosistema. La sicurezza è stata ulteriormente rafforzata attraverso esercizi di scoperta dei rischi e perfezionamenti specifici per l’uso responsabile dell’AI.

L’ecosistema Llama, supportato da partner chiave come AWS, NVIDIA e Databricks, offre soluzioni di inferenza a bassa latenza e ottimizzazioni per implementazioni cloud e on-prem. Meta ha collaborato con progetti comunitari come vLLM, TensorRT e PyTorch per garantire il supporto fin dal primo giorno di rilascio, promuovendo ulteriori ricerche e sviluppi nel campo della distillazione dei modelli.