Pruna AI rende i modelli genAI più piccoli e veloci. Ed è open source | ChatGPT download | Chat GPT in italiano | ChatGPT italiano | Turtles AI

Pruna AI, startup europea specializzata in algoritmi di compressione per l’AI, ha recentemente reso open source il suo framework di ottimizzazione, offrendo alla comunità strumenti avanzati per migliorare l’efficienza dei modelli AI.

Punti chiave:

• Rilascio open source del framework di ottimizzazione di Pruna AI.
• Applicazione di tecniche come caching, pruning, quantizzazione e distillazione.
• Valutazione automatizzata delle prestazioni post-compressione.
• Disponibilità di un agente di compressione per ottimizzazioni personalizzate.

Il framework di Pruna AI integra metodologie come caching, pruning, quantizzazione e distillazione per ridurre le dimensioni e aumentare la velocità dei modelli AI. Questa piattaforma standardizza i processi di salvataggio e caricamento dei modelli compressi, consentendo combinazioni flessibili di tecniche di compressione e una valutazione accurata delle prestazioni dopo l’ottimizzazione. 

Un aspetto distintivo del framework è la capacità di analizzare l’impatto della compressione sulla qualità del modello, determinando se le perdite di precisione sono significative e quali miglioramenti in termini di performance sono stati ottenuti. Questo approccio ricorda la standardizzazione introdotta da piattaforme come Hugging Face per i trasformatori e i diffusori, ma applicata alle metodologie di efficienza.

Sebbene grandi laboratori di AI abbiano già implementato tecniche di compressione, come la distillazione utilizzata da OpenAI per creare versioni più veloci dei suoi modelli principali, Pruna AI offre una soluzione integrata che combina diverse metodologie in un unico strumento. Questo approccio aggregato semplifica l’uso e la combinazione di tecniche di compressione, offrendo un valore aggiunto significativo rispetto agli strumenti focalizzati su singoli metodi.

Il framework di Pruna AI è progettato per supportare una vasta gamma di modelli, inclusi quelli di elaborazione del linguaggio naturale, diffusione, conversione del parlato in testo e visione artificiale. Attualmente, l’azienda concentra i suoi sforzi sui modelli di generazione di immagini e video, collaborando con realtà come Scenario e PhotoRoom. 

Oltre alla versione open source, Pruna AI offre una soluzione enterprise con funzionalità avanzate, tra cui un agente di ottimizzazione. Questo agente consente agli sviluppatori di specificare requisiti di performance e precisione, automatizzando il processo di ottimizzazione per soddisfare tali criteri. Il modello di pricing per la versione pro è basato su tariffe orarie, simile al noleggio di GPU su servizi cloud, e mira a garantire un ritorno sull’investimento attraverso risparmi sui costi di inferenza. 

Recentemente, Pruna AI ha raccolto un finanziamento seed di 6,5 milioni di dollari, con investitori come EQT Ventures, Daphni, Motier Ventures e Kima Ventures. Questa iniezione di capitali sottolinea la fiducia nel potenziale dell’azienda di rivoluzionare l’efficienza e l’accessibilità dei modelli di AI attraverso il suo framework di compressione.

L’iniziativa di Pruna AI rappresenta un passo significativo verso la democratizzazione delle tecniche di ottimizzazione dei modelli AI, offrendo strumenti avanzati sia alla comunità open source che alle imprese, per sviluppare soluzioni più efficienti e sostenibili.