Da 2D a 3D: può essere la prossima rivoluzione dell’AI | Free Generative Fill ai | Free ai Tools for Students | Free Generative ai api | Turtles AI

  In un recente articolo, #3DFuse è stata introdotta come tecnica basata sull’#AI da #2D a #3D. Negli ultimi tempi, il campo della generazione da #testo a 3D ha visto un rapido progresso con l’introduzione della #distillazione dei punteggi, una tecnica che utilizza modelli di #diffusione da #testo a 2D interpretati per ottimizzare il #campo di radianza neurale (#NeRF) nell’impostazione a zero scatti. Tuttavia, nonostante il suo potenziale, i metodi basati sulla distillazione del punteggio hanno affrontato una sfida significativa nella ricostruzione di una scena #3D plausibile a causa della mancanza di consapevolezza 3D nei modelli di diffusione #2D. Per superare questa sfida, un gruppo di ricercatori ha proposto un nuovo framework chiamato 3DFuse. Il framework incorpora la consapevolezza 3D nei modelli di diffusione 2D pre-addestrati, migliorando così la robustezza e la coerenza 3D dei metodi basati sulla distillazione dei punteggi. I ricercatori ottengono questo risultato costruendo innanzitutto una struttura 3D grossolana di una determinata richiesta di testo e utilizzando poi le mappe di profondità proiettate e specifiche della vista come condizione per il modello di diffusione. Inoltre, introducono una strategia di addestramento che consente al modello di diffusione 2D di gestire gli errori e la scarsità all’interno della struttura 3D grossolana per una generazione robusta. Inoltre, garantiscono la coerenza semantica in tutti i punti di vista della scena. Secondo i ricercatori, 3DFuse supera le limitazioni degli studi precedenti e ha implicazioni significative per la generazione coerente in 3D di modelli di diffusione 2D. I risultati sperimentali dimostrano l’efficacia del framework, che supera i modelli precedenti in termini di metriche quantitative e di valutazione umana qualitativa. Questo passo avanti nella generazione da testo a 3D arriva in un momento in cui la domanda di scene 3D realistiche sta crescendo rapidamente in vari campi, tra cui i giochi, la realtà virtuale e la realtà aumentata. Con 3DFuse, ricercatori e sviluppatori hanno ora a disposizione una soluzione pratica per affrontare i limiti delle attuali tecniche di generazione da testo a 3D e generare scene 3D più realistiche a partire da messaggi di testo.