Secondo regalo di DeepSeek: DeepEP, ottimizzato per la comunicazione NVLink | Large language models pdf | Llm cosa e | Llm meaning | Turtles AI

DeepSeek DeepEP è una libreria avanzata progettata per ottimizzare la comunicazione tra unità di elaborazione nei modelli Mixture of Experts (MoE). Sfruttando tecniche di parallelismo esperto, gestione avanzata dei dati e comunicazione a bassa latenza, DeepEP migliora l’efficienza computazionale e la scalabilità dell’AI su larga scala.

Punti chiave:

• Ottimizzazione delle comunicazioni MoE: DeepEP migliora la gestione dei dati tra esperti per ridurre i tempi di elaborazione.
• Supporto per RDMA e NVLink: Tecnologie avanzate per un trasferimento dati veloce ed efficiente tra GPU.
• Inferenza a bassa latenza: Metodi specifici per garantire risposte rapide nei modelli AI.
• Isolamento del traffico e routing adattivo: Migliora la distribuzione del carico di rete per evitare congestioni.

DeepSeek DeepEP rappresenta una soluzione mirata per affrontare le sfide legate all’elaborazione distribuita nei modelli di AI basati su Mixture of Experts (MoE), un’architettura che suddivide il carico di lavoro tra diversi sottomodelli specializzati. Grazie all’integrazione di tecnologie avanzate come RDMA e NVLink, DeepEP assicura un flusso dati efficiente, minimizzando la latenza e migliorando la scalabilità dell’addestramento e dell’inferenza. Il cuore di questa libreria risiede nella capacità di gestire la distribuzione e la combinazione delle informazioni tra esperti, ottimizzando la comunicazione attraverso kernel ad alte prestazioni. Questi kernel, noti come MoE dispatch e MoE combine, consentono di ridurre i colli di bottiglia computazionali e di massimizzare l’uso delle risorse hardware disponibili.

Uno degli aspetti distintivi di DeepEP è la sua ottimizzazione per l’algoritmo di gating group-limited, un approccio che gestisce il trasferimento di dati tra domini hardware differenti, come NVLink e RDMA. Questo permette un utilizzo più efficiente della larghezza di banda disponibile, garantendo throughput elevato sia nelle fasi di addestramento che in quelle di inferenza. Inoltre, la libreria introduce un metodo di sovrapposizione tra calcolo e comunicazione basato su hook, che evita di occupare risorse computazionali critiche come gli Streaming Multiprocessors (SM) delle GPU.

Sul piano pratico, DeepEP facilita la gestione di grandi carichi di lavoro distribuendo i dati tra più esperti in modo intelligente. Ad esempio, in un sistema che esegue analisi di testo, la libreria garantisce che compiti come la traduzione, l’analisi del sentiment e l’estrazione delle parole chiave vengano gestiti simultaneamente senza interferenze, ottimizzando l’intero processo. Questo approccio risulta particolarmente efficace nell’addestramento distribuito su GPU di fascia alta basate su architettura Hopper, come le H100, H200 e H800.

Dal punto di vista dell’infrastruttura di rete, DeepEP supporta l’isolamento del traffico attraverso le Virtual Lanes (VL) di InfiniBand, separando diverse tipologie di workload per evitare interferenze e garantire prestazioni ottimali. Il routing adattivo è abilitato per i kernel a bassa latenza, consentendo una distribuzione dinamica del traffico dati per mitigare eventuali congestioni. Tuttavia, questa funzionalità non è ancora estesa ai kernel standard, per i quali il supporto potrebbe essere introdotto in futuro. Il controllo della congestione è stato disattivato in ambienti di produzione, in quanto non sono stati riscontrati problemi significativi di sovraccarico della rete.

Infine, DeepEP supporta operazioni a bassa precisione, tra cui il formato FP8, utile per accelerare i calcoli e ridurre il consumo di memoria, a scapito di una minima perdita di precisione. Test condotti su GPU H800 con schede di rete CX7 InfiniBand a 400 Gb/s hanno dimostrato elevate prestazioni nelle diverse configurazioni di parallelismo esperto, confermando l’efficacia della libreria per applicazioni su larga scala.

DeepEP si afferma dunque come una soluzione avanzata per ottimizzare l’esecuzione di modelli AI distribuiti, offrendo strumenti chiave per la riduzione della latenza e l’aumento dell’efficienza computazionale in scenari ad alta intensità di calcolo.