Nuovo articolo scientifico di Google sulla TPU V4 | Llm Informatica | Come Istruire Chat gpt | Chatgpt Login | Turtles AI
Nuovo articolo scientifico di Google sulla TPU V4
DukeRem5 aprile 2023
#Google ha appena pubblicato un articolo scientifico sulla sua #TPU v4, affermando di essere superiore alla #NVIDIA #A100 (ma ricordiamo che l’ultimo e più potente prodotto NVIDIA è #H100, che ha quasi raddoppiato le prestazioni rispetto all’A100) nell’inferenza e nell’addestramento #AI. L’articolo completo è disponibile qui. Di seguito un breve riassunto.
Nel mondo del supercalcolo, la TPU v4 di Google è l’ultima e più potente e vanta non una, ma due importanti caratteristiche architettoniche che le conferiscono un vantaggio significativo rispetto alla concorrenza. La prima è lo SparseCore, una tecnologia rivoluzionaria che accelera le incorporazioni dei modelli #DLRM di ben 5-7 volte. Il segreto del suo successo è un’architettura dataflow sea-of-cores che consente di collocare le incorporazioni in qualsiasi punto della memoria fisica da 128 TiB della TPU v4, garantendo flessibilità e velocità senza precedenti.
Ma i vantaggi della TPU v4 non si fermano qui. L’altra caratteristica architettonica principale è rappresentata dagli OCS e dai componenti ottici sottostanti, che sono sorprendentemente economici, con meno del 5% del costo complessivo e meno del 3% del consumo energetico complessivo. Nonostante il loro basso costo, questi componenti offrono una serie impressionante di vantaggi, tra cui scalabilità, maggiore disponibilità, modularità, prestazioni più elevate, riduzione del consumo energetico, programmazione semplificata, implementazione più rapida e maggiore sicurezza.
La sostituzione di OCS e ICI con Infiniband può sembrare un’opzione allettante, ma ha un costo. Non solo aumenta i costi e il consumo di energia, ma riduce anche le prestazioni. Rispetto ai chip DSA contemporanei realizzati con tecnologie simili, TPU v4 è più veloce e ha una potenza inferiore, offrendo un vantaggio significativo nel mondo del supercalcolo.
Infatti, la TPU v4 è così potente che è diventata la scelta obbligata per i modelli linguistici di grandi dimensioni (LLM) come LaMDA, MUM e PaLM. Le sue prestazioni, la sua scalabilità e la sua disponibilità ne fanno il cavallo di battaglia del mondo del supercalcolo, consentendo al modello PaLM a 540B parametri di sostenere un impressionante 57,8% delle prestazioni in virgola mobile di picco dell’hardware per 50 giorni durante l’addestramento sui supercomputer TPU v4.
Google ha già distribuito decine di supercomputer TPU v4 per uso interno ed esterno tramite Google Cloud, e la sua scelta di affidarsi agli OCS sembra ancora più preveggente visto il recente aumento di entusiasmo per gli LLM. I progressi degli architetti informatici nell’ambito del warehouse-scale computing (WSC) stanno inoltre contribuendo a ridurre l’impronta di carbonio del ML, rendendo la TPU v4 un’opzione ancora più interessante per coloro che vogliono sfruttare l’incredibile potenziale del ML in modo sostenibile.
Nel complesso, la TPU v4 è una tecnologia che sta rivoluzionando il mondo del supercalcolo. Le sue caratteristiche innovative e le sue prestazioni impressionanti ne fanno la scelta obbligata per chi vuole portare le proprie capacità di calcolo a un livello superiore.
Tradotto con www.DeepL.com/Translator (versione gratuita)
