Nvidia ha sviluppato un modello text-to-image (t2i) ultraveloce per 1024x1024 in 0,1s: NvLabs Sana S | Buongiorno nuovissimi | Ai generator | Bing image creator italiano | Turtles AI

 SANA-Sprint è un innovativo modello di diffusione per la generazione ultraveloce di immagini da testo, che riduce i passaggi di inferenza da 20 a 1-4, mantenendo alta qualità e velocità.

Punti chiave:

• Efficienza: Riduzione dei passaggi di inferenza da 20 a 1-4.
• Qualità: Punteggio FID di 7,59 e GenEval di 0,74 in un solo passaggio.
• Velocità: Latenza di 0,1 secondi per immagini 1024x1024 su GPU H100.
• Interattività: Integrazione con ControlNet per feedback visivo immediato.

Negli ultimi anni, la generazione di immagini da testo ha visto progressi significativi, con un’attenzione particolare all’efficienza e alla qualità. In questo contesto, SANA-Sprint emerge come una soluzione promettente, offrendo un approccio innovativo che combina velocità e precisione nella sintesi delle immagini.

SANA-Sprint si basa su un modello pre-addestrato, implementando una strategia di distillazione ibrida per ottimizzare il processo di inferenza. Tradizionalmente, i modelli di diffusione richiedono circa 20 passaggi per generare un’immagine di alta qualità. SANA-Sprint riduce drasticamente questo numero a soli 1-4 passaggi, grazie a tre innovazioni principali.

La prima innovazione consiste in un metodo senza necessità di ulteriore addestramento, che trasforma un modello di flow-matching pre-addestrato per la distillazione di coerenza a tempo continuo (sCM). Questo approccio elimina la necessità di un costoso addestramento da zero, migliorando l’efficienza complessiva. La strategia di distillazione ibrida combina sCM con la distillazione avversaria latente (LADD): mentre sCM garantisce l’allineamento con il modello di riferimento, LADD migliora la fedeltà delle immagini generate in un singolo passaggio.

La seconda innovazione riguarda la struttura unificata e adattabile del modello, che consente la generazione di immagini di alta qualità in 1-4 passaggi senza la necessità di addestramenti specifici per ciascun passaggio. Questo approccio aumenta ulteriormente l’efficienza del processo.

La terza innovazione è l’integrazione di ControlNet, che permette la generazione interattiva di immagini in tempo reale, offrendo un feedback visivo immediato e migliorando l’interazione con l’utente.

Le prestazioni di SANA-Sprint sono notevoli: in un solo passaggio, raggiunge un punteggio FID di 7,59 e un punteggio GenEval di 0,74, superando FLUX-fast (7,94 FID / 0,71 GenEval) ed essendo dieci volte più veloce (0,1 secondi contro 1,1 secondi su una GPU H100). Per immagini con una risoluzione di 1024x1024, SANA-Sprint raggiunge una latenza di 0,1 secondi per la generazione da testo a immagine (T2I) e 0,25 secondi con ControlNet su una GPU H100. Su una GPU RTX 4090, la latenza è di 0,31 secondi per T2I, dimostrando un’efficienza eccezionale e un potenziale significativo per applicazioni consumer basate su AI.

Gli sviluppatori di SANA-Sprint hanno annunciato l’intenzione di rendere open source il codice e i modelli pre-addestrati, favorendo ulteriori sviluppi e applicazioni in vari settori, dalla creazione di materiali di marketing allo sviluppo di videogiochi. In particolare, per aziende specializzate nella creazione di contenuti basati sull’AI, SANA-Sprint offre l’opportunità di accelerare e semplificare la produzione di immagini di alta qualità.

 SANA-Sprint rappresenta un significativo passo avanti nella generazione di immagini da testo, combinando efficienza, qualità e interattività in un’unica soluzione innovativa.