SmolLM: Modelli Compatti e Ad Alte Prestazioni per Dispositivi Locali | Large Language Models pdf | Llm Machine Learning | Chatopenai.com Italiano | Turtles AI
SmolLM: modelli linguistici compatti e ad alte prestazioni per dispositivi locali
Punti chiave
- Efficienza e prestazioni: SmolLM offre modelli di piccole dimensioni con prestazioni elevate, ideali per dispositivi locali.
- Cura dei dati: Dataset di alta qualità, comprendente Cosmopedia v2 e altre risorse educative.
- Strategie di addestramento: Utilizzo di scheduler trapezoidale e architetture ottimizzate per garantire efficienza.
- Valutazione comparativa: SmolLM supera i modelli concorrenti nei benchmark di ragionamento e conoscenza del mondo.
Il progetto SmolLM introduce una nuova serie di modelli linguistici di dimensioni ridotte ma altamente efficienti, ottimizzati per funzionare su dispositivi locali. Analizziamo i dettagli tecnici e le metodologie adottate che li rendono una scelta interessante nel panorama dell’AI, grazie all’ottimizzazione delle risorse e alla qualità dei dati.
Negli ultimi tempi, l’interesse verso i modelli linguistici di piccole dimensioni è aumentato notevolmente. Tali modelli possono operare efficacemente su dispositivi locali grazie a tecniche come la distillazione o la quantizzazione, che comprimono i modelli più grandi, oppure l’addestramento da zero su ampi dataset. Questi approcci permettono nuove applicazioni, riducendo i costi di inferenza e migliorando la privacy degli utenti.
Esempi di questa tendenza includono i modelli Phi di Microsoft, Qwen2 di Alibaba e MobileLLM di Meta, che dimostrano come modelli ben progettati e addestrati possano ottenere risultati eccellenti. Tuttavia, molti dettagli sulla cura dei dati e sull’addestramento di questi modelli rimangono riservati. SmolLM si distingue in questo contesto offrendo trasparenza e un corpus di dati di alta qualità, lo SmolLM-Corpus, composto da diverse fonti educative e testuali.
La serie SmolLM comprende modelli di tre dimensioni: 135M, 360M e 1.7B parametri. L’efficienza di questi modelli è dimostrata attraverso benchmark che valutano il ragionamento e la conoscenza del mondo. La creazione del dataset di addestramento è stata meticolosa, utilizzando una combinazione di testi generati artificialmente e risorse educative di alta qualità.
Il cuore di SmolLM-Corpus è Cosmopedia v2, un dataset sintetico ampliato rispetto alla versione precedente. Comprende 30 milioni di libri di testo, post di blog e storie generate dal modello Mixtral-8x7B-Instruct-v0.1. La diversificazione dei prompt e l’utilizzo di fonti web mirate hanno arricchito il dataset, garantendo contenuti pertinenti e di alta qualità.
Per migliorare Cosmopedia, sono state esplorate due strategie: l’uso di modelli più avanzati e l’ottimizzazione dei prompt. Nonostante i tentativi con modelli come llama3-70B-Instruct e Qwen1.5-72B-Chat, la vera svolta è stata nel raffinamento dei prompt, garantendo argomenti rilevanti e campioni iniziali di qualità.
Un elemento chiave è stata la categorizzazione dei temi utilizzando lo standard BISAC, che ha prodotto una lista di 34.000 argomenti. Per ciascuno, sono state recuperate pagine web pertinenti, generando un corpus di 34 milioni di pagine.
La qualità della generazione dei contenuti è stata ulteriormente valutata attraverso studi di ablation, determinando che i testi mirati agli studenti delle scuole medie offrivano le migliori performance nei benchmark, ad eccezione del MMLU che richiede conoscenze più avanzate.
I modelli SmolLM sono stati addestrati su un mix di dati che include 600 miliardi di token per i modelli da 135M e 360M, e 1 trilione di token per il modello da 1.7B. È stato utilizzato uno scheduler trapezoidale per il learning rate, con un’architettura ottimizzata per profondità e attenzione raggruppata nei modelli più piccoli, e un’architettura tradizionale per il modello più grande.
I modelli SmolLM sono stati confrontati con i migliori modelli esistenti nella loro categoria di dimensioni, dimostrando performance superiori su vari benchmark di ragionamento e conoscenza del mondo. SmolLM-135M, ad esempio, supera MobileLM-125M, nonostante sia stato addestrato con meno token.
Grazie alle loro dimensioni contenute, i modelli SmolLM possono essere eseguiti localmente su vari dispositivi, dai laptop agli smartphone, rendendoli versatili e accessibili.
SmolLM rappresenta un passo avanti nella creazione di modelli linguistici efficienti e performanti, offrendo una combinazione ottimale di dimensioni e qualità dei dati. Questi modelli dimostrano che anche modelli di piccole dimensioni possono raggiungere elevate prestazioni, rendendo la tecnologia AI più accessibile e versatile.
