OLMo 2 32B è un LLM completamente aperto che supera le prestazioni del mini GPT-4o | Modelli llm | Nlp e llm | Chat gpt in italiano | Turtles AI

OLMo 2 di AI2 introduce miglioramenti nell’architettura dei modelli linguistici aperti, con dati e tecniche ottimizzate, promuovendo trasparenza ed efficienza nel settore dell’AI.

Punti Chiave:

• Nuova Architettura: OLMo 2 adotta tecniche avanzate di addestramento e una nuova combinazione di dati, il "Dolmino Mix 1124".
• Modelli Potenziati: Disponibile nelle versioni da 7 e 13 miliardi di parametri, con prestazioni migliorate.
• Trasparenza e Accessibilità: Tutti i dati di addestramento, il codice e le ricette sono pubblicamente accessibili.
• Concorrenza nel Settore: OLMo 2 si confronta con modelli di punta come Llama 3.1 e Qwen 2.5.

L’Allen Institute for AI (AI2) ha recentemente presentato OLMo 2, la seconda generazione dei suoi modelli linguistici aperti. Questa versione introduce miglioramenti nell’architettura e nelle tecniche di addestramento, inclusa una nuova combinazione di dati denominata "Dolmino Mix 1124", che ha portato a significativi avanzamenti nelle prestazioni su vari benchmark. Inoltre, OLMo 2-Instruct incorpora pratiche ottimali derivate da Tülu 3, focalizzandosi su dati permissivi e estendendo l’apprendimento per rinforzo con ricompense verificabili (RLVR). I modelli OLMo 2, disponibili nelle versioni da 7 e 13 miliardi di parametri, competono con altri modelli aperti come Llama 3.1 e Qwen 2.5, offrendo efficienza e trasparenza grazie alla completa disponibilità dei dati di addestramento, del codice e delle ricette utilizzate. 

Questa iniziativa si inserisce in una tendenza più ampia nel campo dell’AI, dove istituti di ricerca e aziende stanno sviluppando modelli linguistici estesi (LLM) sempre più avanzati. Ad esempio, il team Gemma ha introdotto Gemma 2, una famiglia di modelli leggeri e all’avanguardia che vanno da 2 a 27 miliardi di parametri. Questi modelli applicano modifiche tecniche note all’architettura Transformer, come l’interleaving di attenzioni locali e globali e l’attenzione group-query, offrendo prestazioni competitive rispetto a modelli di dimensioni maggiori.

Allo stesso modo, OpenAI, fondata nel 2015 con l’obiettivo di promuovere e sviluppare un’AI amichevole, ha recentemente annunciato la sua trasformazione in una società a scopo di lucro, continuando a contribuire significativamente al progresso dell’AI.

Questi sviluppi riflettono l’impegno della comunità scientifica nel rendere l’AI più accessibile e trasparente, promuovendo la collaborazione aperta e l’innovazione nel settore.