Intel amplia il supporto AI con i nuovi modelli Llama 3.2 | | | | Turtles AI

 
Intel ha introdotto il supporto per i modelli Llama 3.2 di Meta, ampliando l’accesso all’AI su varie piattaforme hardware. Questi modelli, ottimizzati per diverse applicazioni, promettono prestazioni elevate su dispositivi edge, server e PC AI. La nuova architettura Gaudi 3 e i processori Intel Xeon migliorano significativamente l’efficienza dell’inferenza AI.

Punti chiave:

• Gaudi 3 e OPEA: Supporto avanzato per i modelli Llama 3.2 grazie agli acceleratori AI di Intel e alla piattaforma OPEA.
• Prestazioni Xeon: I processori Intel Xeon ottimizzati per i modelli di linguaggio di piccole dimensioni garantiscono alte prestazioni e bassa latenza.
• PC AI di Intel: I processori Intel Core Ultra e le GPU Intel Arc consentono l’inferenza AI in tempo reale su dispositivi edge e client.
• Innovazione responsabile: Llama Guard 3 fornisce un livello di sicurezza per un’implementazione AI responsabile.

Intel, allineandosi alla sua strategia di estendere l’AI in ogni ambito, ha annunciato l’integrazione dei più recenti modelli Llama 3.2 di Meta su una vasta gamma di piattaforme hardware AI, dall’infrastruttura dei data center ai PC di uso quotidiano. Questa collezione aggiornata, che si basa sul successo dei modelli Llama 3.1, introduce nuove funzionalità specificamente progettate per ottimizzare l’efficienza e la sicurezza in vari contesti di applicazione.

I modelli Llama 3.2, disponibili in diverse configurazioni, includono versioni leggere da 1B e 3B, ideali per l’inferenza su dispositivi edge e client, e potenti modelli di visione da 11B e 90B, sviluppati per applicazioni di analisi visiva avanzata, come la comprensione dettagliata di documenti e immagini. In linea con un approccio di innovazione responsabile, Intel ha integrato nei modelli Llama 3.2 nuove protezioni di sicurezza, tra cui Llama Guard 3, un guard rail progettato per prevenire l’uso improprio dell’AI.

Gli acceleratori Intel Gaudi 2 e il nuovissimo Gaudi 3 giocano un ruolo importante nell’implementazione di questi modelli AI. L’architettura migliorata del Gaudi 3, che offre prestazioni potenziate con elaborazione BF16 quadrupla, rete integrata doppia e memoria HBM aumentata, rappresenta un’opzione estremamente competitiva per i grandi modelli AI generativi, rendendolo una scelta ottimale per le aziende che necessitano di soluzioni scalabili e ad alte prestazioni. Attraverso una dimostrazione pratica, Intel ha illustrato come i modelli Llama 3.2, abbinati agli acceleratori Gaudi, possano eseguire con successo la pipeline Visual Question and Answering (VQA) e garantire la sicurezza dei contenuti grazie a Llama Guard 3. Il software Intel Gaudi e la piattaforma OPEA (Open Platform for Enterprise AI) facilitano ulteriormente l’adozione di queste tecnologie offrendo soluzioni end-to-end per l’AI aziendale.

I processori Intel Xeon si dimostrano particolarmente efficaci nell’esecuzione di modelli di linguaggio di piccole dimensioni, che richiedono meno potenza di calcolo e possono essere facilmente ottimizzati per attività specifiche. Con l’integrazione delle istruzioni Intel Xeon AMX e una maggiore larghezza di banda della memoria, questi processori garantiscono prestazioni elevate con una latenza ridotta, rendendoli una scelta ideale per implementazioni su larga scala. I test di benchmarking hanno evidenziato che i processori Intel Xeon sono capaci di processare modelli Llama 3.2 3B e 11B-Vision-Instruct con velocità di elaborazione notevoli e latenza ridotta, dimostrando l’efficacia di queste soluzioni per un’ampia gamma di applicazioni aziendali.

Infine, Intel ha reso accessibili le capacità dei modelli Llama 3.2 anche per applicazioni client ed edge tramite i nuovi processori Intel Core Ultra e le GPU Intel Arc. Questi componenti hardware, con funzionalità AI integrate come le NPU e le estensioni Xe Matrix (XMX), permettono agli utenti di eseguire modelli complessi come Llama 3.2 11B Vision direttamente sui dispositivi locali, aprendo nuove possibilità per l’inferenza AI in tempo reale e lo sviluppo di applicazioni personalizzate.

L’evoluzione dei modelli Llama 3.2 e il loro supporto su una gamma completa di piattaforme Intel rappresentano un passo significativo verso la diffusione capillare dell’AI in ogni settore, offrendo soluzioni potenti, scalabili e sicure che rispondono alle esigenze di un mondo sempre più connesso.