LLama 2 di Meta | Llm Acronimo | Chat gpt Gratis | Come Istruire Chat gpt | Turtles AI

Meta rilascia la famiglia Llama 2 di modelli linguistici di grandi dimensioni con 7B-70B parametri. È possibile leggere il documento originale cliccando qui. Meta ha rilasciato una nuova famiglia di modelli linguistici di grandi dimensioni, denominata Llama2, con una scala da 7 miliardi a 70 miliardi di parametri. Questi modelli Llama2 mostrano miglioramenti significativi rispetto ai precedenti modelli Llama1 grazie all’addestramento su dati più ampi, alla maggiore lunghezza del contesto fino a 4k token e all’inferenza più veloce per il modello 70B grazie all’attenzione alle query raggruppate. I modelli Llama2 includono diverse varianti ottimizzate per le applicazioni di dialogo che utilizzano il Reinforcement Learning from Human Feedback (RLHF). Secondo le valutazioni umane, i modelli Llama2-Chat hanno prestazioni migliori rispetto alla maggior parte dei modelli aperti esistenti e raggiungono prestazioni paragonabili a ChatGPT. I modelli Llama2 sono supportati in modo nativo nell’ecosistema HuggingFace con l’integrazione dei modelli, gli script di inferenza, gli esempi di messa a punto, gli strumenti di quantizzazione e l’hosting dei modelli attraverso gli endpoint di inferenza. La demo fornita consente agli utenti di provare facilmente il modello Llama2 70B in azione. Per l’uso in produzione, Meta consiglia di distribuire i modelli 7B su un’istanza con 1x GPU Nvidia A10G , i modelli 13B su un’istanza con 1x GPU Nvidia A100 e i modelli 70B su un’istanza con configurazione a GPU multiple con 8x GPU A100. HuggingFace ha anche mostrato come mettere a punto il modello Llama2 7B su una singola GPU T4 utilizzando PEFT. Nel complesso, la versione di Llama2, con la sua licenza permissiva e i miglioramenti delle prestazioni, presenta un’interessante alternativa aperta per la creazione di applicazioni di dialogo.