NVIDIA stabilisce un nuovo record di velocità per LLM con Llama 4 Maverick | Chat gpt gratis italiano | Modelli llm | Llm informatica | Turtles AI
NVIDIA ha stabilito un nuovo standard nell’inferenza dei modelli linguistici di grandi dimensioni (LLM), superando la soglia dei 1.000 token al secondo per utente con il modello Llama 4 Maverick da 400 miliardi di parametri. Questa prestazione è stata ottenuta utilizzando un singolo nodo DGX B200 equipaggiato con otto GPU Blackwell, segnando un significativo avanzamento nella riduzione della latenza e nell’aumento del throughput per applicazioni di AI generativa.
Punti chiave:
- Oltre 1.000 token al secondo per utente su Llama 4 Maverick
- 72.000 token al secondo per server con DGX B200
- Ottimizzazioni software con TensorRT-LLM e decodifica speculativa EAGLE-3
- Utilizzo di formati dati FP8 per operazioni GEMM, MoE e Attention
L’architettura Blackwell di NVIDIA, con i suoi Tensor Core di quinta generazione, ha permesso di raggiungere queste prestazioni record. Le ottimizzazioni software, in particolare l’uso di TensorRT-LLM e la decodifica speculativa EAGLE-3, hanno contribuito significativamente all’aumento della velocità di inferenza, mantenendo al contempo l’accuratezza del modello. L’adozione del formato dati FP8 per le operazioni GEMM, Mixture of Experts (MoE) e Attention ha consentito di ridurre le dimensioni del modello e sfruttare l’elevata produttività dei Tensor Core.
Queste innovazioni dimostrano l’impegno di NVIDIA nel migliorare le prestazioni e l’efficienza dei modelli di AI, rendendo possibile l’implementazione di LLM su larga scala con tempi di risposta ridotti e costi operativi ottimizzati.


