CogVideoX-5B: Prestazioni Avanzate alla Portata di Tutti | Festina Lente - Notizie, recensioni e approfondimenti sull’intelligenza artificiale | Turtles AI

Una nuova tappa nello sviluppo dei modelli di generazione video è stata raggiunta con il rilascio di CogVideoX-5B, un modello text-to-video (T2V) a pesi aperti. Questo modello, in grado di funzionare su GPU di fascia media, aggiunge un tassello importante al puzzle della generazione video accessibile. Con il miglioramento dei modelli T2V, la possibilità di adattarli a compiti di image-to-video (I2V) suscita interessanti discussioni nella comunità ML.

 Punti Chiave:

• Rilascio Open-Weight: CogVideoX-5B è ora disponibile come modello a pesi aperti, rendendolo accessibile a un pubblico più ampio di sviluppatori e ricercatori.
• Compatibilità: Il modello può essere eseguito su GPU come la RTX 3060, mentre il modello più piccolo CogVideoX-2B, ora sotto licenza Apache 2.0, è compatibile con GPU più datate come la GTX 1080TI.
• Output Video: CogVideoX-5B genera video fino a sei secondi di durata con una risoluzione di 720x480.
• Potenziale per I2V: Si specula sulla possibilità di adattare questo modello T2V per applicazioni I2V, forse attraverso approcci simili ai modelli IP-Adapter o al fine-tuning con LORA.

Il recente rilascio di CogVideoX-5B, un modello open-source di generazione video da testo, ha suscitato molto interesse nella comunità dell’intelligenza artificiale. Questo modello è stato sviluppato come parte della serie CogVideo, che mira a competere con altre soluzioni di generazione video come Runway, OpenSora, Pika, e Luma. CogVideoX-5B si distingue per la capacità di generare video di 6 secondi con una risoluzione di 720x480 pixel, mantenendo un’ottima qualità visiva grazie ai suoi 5 miliardi di parametri. Una caratteristica interessante è che, nonostante la sua complessità, può essere eseguito su una GPU desktop come una RTX 3060, rendendolo accessibile anche a chi non dispone di hardware particolarmente potente.

Per quanto riguarda la possibilità di estendere il modello da testo-a-video a immagine-a-video (i2v), l’idea di adattarlo non è lontana dalla realtà. In effetti, la comunità potrebbe esplorare l’uso di tecniche come IP-Adapter per condizionare i primi frame del video partendo da un’immagine fissa, o l’implementazione di LoRA per personalizzare l’output video secondo specifiche esigenze visive. Queste sono solo ipotesi, ma sono basate su tecnologie già esistenti che potrebbero essere applicate a CogVideoX con gli opportuni adattamenti

CogVideoX-5B è sicuramente un passo avanti significativo nella generazione video AI, e le sue capacità potrebbero essere ulteriormente esplorate e potenziate con nuovi sviluppi e contributi dalla comunità open-source.

Il rilascio di CogVideoX-5B segna un passo avanti nella disponibilità e nell’efficienza dei modelli T2V. Man mano che ricercatori e sviluppatori continuano a esplorare questi strumenti, il potenziale per applicazioni innovative, come il passaggio a I2V, rimane una possibilità intrigante.

• Efficienza VRAM: Utilizzando la libreria Diffusers, CogVideoX-5B richiede 20.7 GB di VRAM in BF16 e 11.4 GB in INT8, ottimizzando così l’uso delle risorse su GPU di fascia alta.
• Tempi di Inferenza: L’inferenza per 50 step in BF16 impiega 90 secondi su una GPU H100 e 180 secondi su una A100, evidenziando una differenza significativa nelle prestazioni tra queste due GPU.
• Nuova Licenza Open Source: Il modello precedente, CogVideoX-2B, è ora rilasciato sotto licenza Apache 2.0, rendendolo più accessibile e versatile per sviluppatori e ricercatori.

Per chi fosse interessato, i dettagli tecnici completi e il codice sono disponibili su piattaforme come GitHub e arXiv.