Meta Rivoluziona l’Ottimizzazione del Codice con il Nuovo Compilatore LLM | Llm Acronimo | Llm ai Significato | Large Language Models pdf | Turtles AI

Meta presenta il Compilatore LLM: Innovazioni nella Ottimizzazione del Codice

Punti Chiave

• Dimensioni del modello: Disponibile in versioni da 7 e 13 miliardi di parametri.
• Dataset di addestramento: Addestrato su 546 miliardi di token di codice LLVM-IR e assembly.
• Prestazioni di ottimizzazione: Raggiunge il 77% del potenziale di ottimizzazione di una ricerca autotuning.
• Supporto hardware: Utilizza infrastrutture di rete ad alta velocità e GPU di ultima generazione.

Meta ha recentemente lanciato il Compilatore LLM (Large Language Model), una suite di modelli pre-addestrati progettati per ottimizzare il codice. Basato su Code Llama, questo strumento rivoluziona l’interpretazione delle rappresentazioni intermedie del compilatore (IR), del linguaggio assembly e delle tecniche di ottimizzazione. Addestrato su un vasto corpus di 546 miliardi di token di codice LLVM-IR e assembly, il Compilatore LLM promette di migliorare significativamente l’efficienza del codice.

Il Compilatore LLM è disponibile in due dimensioni: 7 miliardi e 13 miliardi di parametri. Meta ha anche rilasciato versioni finemente sintonizzate del modello, dimostrando la sua capacità di ottimizzare le dimensioni del codice e disassemblare il codice assembly x86_64 e ARM in LLVM-IR, raggiungendo il 77% del potenziale di ottimizzazione di una ricerca autotuning e un 45% di round trip di disassemblaggio (14% di corrispondenza esatta)​.

La formazione del Compilatore LLM si è svolta in quattro fasi principali. Inizialmente, i modelli sono stati addestrati su rappresentazioni intermedie del compilatore non etichettate e codice assembly. Successivamente, sono stati sintonizzati per prevedere l’output e l’effetto delle ottimizzazioni del compilatore. Infine, i modelli sono stati ulteriormente affinati su dataset di ottimizzazione dei flag e disassemblaggio, totalizzando 710 miliardi di token di addestramento.

L’infrastruttura di addestramento di Meta ha giocato un ruolo cruciale nella creazione di questi modelli avanzati. Utilizzando una rete ad alta velocità e algoritmi di trasferimento dati efficienti, Meta ha ottimizzato la connettività tra GPU per gestire la grande quantità di dati necessari per l’addestramento dei modelli. Inoltre, l’azienda ha modificato l’hardware esistente per supportare la nuova generazione di GPU, migliorando le capacità di raffreddamento e alimentazione per massimizzare le prestazioni​.

Il Compilatore LLM rappresenta un notevole passo avanti nell’uso degli LLM per l’ottimizzazione del codice. I ricercatori di Meta sono rimasti sorpresi dalle capacità del modello di eseguire ottimizzazioni che competono con le tecniche basate su ricerche approfondite, evidenziando il potenziale degli LLM di trasformare il campo dell’ingegneria del software​.

Dettagli tecnici: