Panmnesia Ridefinisce l’Architettura della Memoria GPU per Sistemi AI | 4 Main Parts of a Computer | Gpu vs cpu Performance Comparison | Gpu Hardware Laptop | Turtles AI

Innovazione nei Sistemi AI: Panmnesia Ridisegna l’Architettura della Memoria GPU

Punti chiave

• Espansione della memoria GPU: Il protocollo CXL di Panmnesia consente alle GPU AI di utilizzare memoria esterna da DRAM o SSD con latenza minima.
• Riduzione dei costi: La soluzione permette di espandere la memoria senza dover acquistare GPU ad alte prestazioni, riducendo i costi di costruzione dei server.
• Prestazioni migliorate: CXL-Opt mostra una latenza significativamente inferiore rispetto ai prototipi esistenti, migliorando la velocità di esecuzione.
• Impatto sul mercato: La tecnologia potrebbe rivoluzionare l’industria delle GPU AI, offrendo un’alternativa più efficiente e scalabile rispetto alle soluzioni tradizionali.

Panmnesia, una startup coreana supportata dal KAIST, ha presentato un nuovo protocollo CXL (Compute Express Link) che promette di risolvere i limiti di memoria delle GPU AI, permettendo l’uso di DRAM o SSD esterni con latenza minima. Questa soluzione affronta direttamente le limitazioni dell’HBM (High Bandwidth Memory) integrata nelle GPU, espandendo significativamente la capacità di memoria disponibile.

Attualmente, gli acceleratori AI sono limitati dalla memoria onboard a causa della capacità limitata dell’HBM. Con l’aumento delle dimensioni dei dataset e delle esigenze di potenza, l’industria ha visto un incremento nell’uso di GPU AI, ma questo approccio non è sostenibile a lungo termine, sia per costi che per risorse di produzione. Per risolvere questo problema, Panmnesia ha sviluppato un IP CXL che permette alle GPU di utilizzare la memoria da DRAM o SSD, ampliando l’HBM integrata.

Il protocollo CXL utilizza collegamenti PCIe per garantire un’adozione di massa tra i consumatori. Tuttavia, le soluzioni tradizionali come la UVM (Unified Virtual Memory) sono lente e quindi inefficaci. Come soluzione, Panmnesia ha sviluppato un proprio chip Root Complex conforme a CXL 3.1, che collega la GPU alla memoria esterna tramite un bus PCIe e un decoder HDM (Host-Managed Device Memory) per gestire l’allocazione e la traduzione della memoria.

Panmnesia ha confrontato la propria soluzione, CXL-Opt, con prototipi sviluppati da Samsung e Meta, evidenziando una latenza di andata e ritorno significativamente inferiore, con CXL-Opt che mostra una latenza a due cifre in nanosecondi rispetto ai 250 ns dei prototipi CXL-Proto. Inoltre, il tempo di esecuzione di CXL-Opt è molto inferiore rispetto alla soluzione UVM, con velocità IPC 3,22 volte superiori.

Questa innovazione potrebbe rivoluzionare il mercato, fungendo da intermediario tra l’accatastamento dei chip HBM e l’adozione di soluzioni più efficienti. Se questa tecnologia guadagna trazione, Panmnesia potrebbe trarne un significativo beneficio, grazie alla sua posizione di pioniere nel campo delle soluzioni IP CXL.

L’implementazione di Panmnesia potrebbe risolvere i problemi di capacità di memoria nei centri dati, unificando lo spazio di memoria dei componenti hardware vari (come CPU, GPU e espansori di memoria) in un unico indirizzo fisico dell’host (HPA). Questo setup consente agli utenti di accedere ai dati con un indirizzo corrispondente, indipendentemente da dove siano memorizzati.

Considerazioni soggettive: La tecnologia CXL rappresenta un passo significativo nell’architettura di memoria per le applicazioni AI, riducendo i costi operativi e migliorando le prestazioni. Questo sviluppo si inserisce nel contesto più ampio dell’evoluzione dell’AI, dove la gestione efficiente della memoria è cruciale per supportare modelli sempre più complessi e dataset sempre più grandi.