CogView4 è un modello Text-to-image (t2i) che produce una risoluzione di 2048x2048 | | Stability ai | Crea immagini intelligenza artificiale | Turtles AI

Il progetto CogView4, basato su GLM4-9B VLM e open source con licenza Apache 2.0, integra modelli di diffusione e supporta l’ottimizzazione dei prompt mediante LLM per sintesi immagini di qualità.

Punti chiave:

• Impiego del text encoder GLM4-9B VLM di elevata efficienza
• Distribuzione open source con licenza Apache 2.0
• Diverse versioni e aggiornamenti (CogView-4, CogView-3, CogView-3Plus-3B)
• Ottimizzazione dei prompt tramite tecniche few-shot e LLM

CogView4 si presenta come una soluzione avanzata nel panorama della sintesi immagine, integrando il sofisticato text encoder GLM4-9B VLM, capace di competere con modelli vision proprietari e destinato ad applicazioni variegate quali ControNets e IPAdapters; il sistema, rilasciato interamente con licenza Apache 2.0, ha visto il dispiegamento di differenti versioni, a partire dal 29 settembre 2024 con la messa a disposizione online di CogView3 e della variante CogView-3Plus-3B, quest’ultima basata su un framework innovativo Diffusion Transformer che sfrutta un approccio a cascata per garantire una qualità visiva superiore, seguito il 13 ottobre 2024 dall’adattamento dei diffusori del modello CogView-4, progettato per supportare nativamente il cinese e per ottimizzare la generazione di immagini a partire da descrizioni testuali articolate; la documentazione tecnica e lo script d’esempio messi a disposizione consentono agli utenti di perfezionare i propri prompt sfruttando l’ausilio di modelli linguistici di grandi dimensioni, i quali, riformulando le richieste, migliorano sensibilmente la resa finale delle immagini, evidenziando come l’adozione di strategie few-shot, pur distinguendo in maniera specifica gli esempi utilizzati per ciascuna serie, rappresenti un valido supporto per la realizzazione di output visivi coerenti e contestualmente adattabili, un aspetto che ha attirato l’attenzione della comunità scientifica e tecnologica interessata all’applicazione di metodologie open source in contesti di elevata complessità computazionale e creativa; esperti del settore hanno sottolineato come questo approccio favorisca una maggiore trasparenza e personalizzazione nella generazione automatica delle immagini, aprendo nuove prospettive per applicazioni multidisciplinari.

L’integrazione di sistemi open source avanzati nel campo della sintesi immagine offre opportunità concrete per l’innovazione tecnica e applicativa.