NVIDIA stabilisce un nuovo record di velocità per LLM con Llama 4 Maverick | Chat gpt gratis italiano | Modelli llm | Llm informatica | Turtles AI

NVIDIA stabilisce un nuovo record di velocità per LLM con Llama 4 Maverick
Superati i 1.000 token al secondo per utente grazie alle GPU Blackwell e a profonde ottimizzazioni software
Editorial Team24 maggio 2025

 

NVIDIA ha stabilito un nuovo standard nell’inferenza dei modelli linguistici di grandi dimensioni (LLM), superando la soglia dei 1.000 token al secondo per utente con il modello Llama 4 Maverick da 400 miliardi di parametri. Questa prestazione è stata ottenuta utilizzando un singolo nodo DGX B200 equipaggiato con otto GPU Blackwell, segnando un significativo avanzamento nella riduzione della latenza e nell’aumento del throughput per applicazioni di AI generativa.

Punti chiave:

  • Oltre 1.000 token al secondo per utente su Llama 4 Maverick
  • 72.000 token al secondo per server con DGX B200
  • Ottimizzazioni software con TensorRT-LLM e decodifica speculativa EAGLE-3
  • Utilizzo di formati dati FP8 per operazioni GEMM, MoE e Attention

L’architettura Blackwell di NVIDIA, con i suoi Tensor Core di quinta generazione, ha permesso di raggiungere queste prestazioni record. Le ottimizzazioni software, in particolare l’uso di TensorRT-LLM e la decodifica speculativa EAGLE-3, hanno contribuito significativamente all’aumento della velocità di inferenza, mantenendo al contempo l’accuratezza del modello. L’adozione del formato dati FP8 per le operazioni GEMM, Mixture of Experts (MoE) e Attention ha consentito di ridurre le dimensioni del modello e sfruttare l’elevata produttività dei Tensor Core.

Queste innovazioni dimostrano l’impegno di NVIDIA nel migliorare le prestazioni e l’efficienza dei modelli di AI, rendendo possibile l’implementazione di LLM su larga scala con tempi di risposta ridotti e costi operativi ottimizzati.