LHM di Alibaba: trasforma una singola immagine in esseri umani animabili in 3D | Festina Lente - Notizie, recensioni e approfondimenti sull’intelligenza artificiale | Turtles AI

Parole chiave: ricostruzione umana 3D animabile, singola immagine, LHM, splatting gaussiano 3D, trasformatore multimodale, codifica a piramide, identità del viso, dettagli fini, generalizzazione.

Punti chiave:

• Innovazione nel Modello LHM: Presentazione del Large Animatable Human Reconstruction Model (LHM), che consente la creazione rapida di avatar 3D animabili a partire da una singola immagine.
• Architettura Avanzata: Utilizzo di una rete neurale transformer multimodale per l’encoding efficace delle caratteristiche posizionali del corpo umano e delle informazioni visive, garantendo dettagli accurati nella geometria e nell’aspetto dell’abbigliamento.
• Codifica a Piramide per il Viso: Introduzione di un metodo di codifica a piramide delle caratteristiche della testa, che migliora la conservazione dell’identità del viso e il recupero di dettagli fini.
• Risultati Superlativi: Dimostrazione che LHM supera le prestazioni dei metodi esistenti, offrendo ricostruzioni più accurate e una migliore capacità di generalizzazione, con tempi di generazione rapidi e senza necessità di post-elaborazione per viso e mani.

La ricostruzione di modelli umani 3D animabili a partire da una singola immagine rappresenta una sfida significativa nel campo della computer grafica, principalmente a causa delle difficoltà nel separare e combinare geometria, aspetto e deformazione. Le soluzioni tradizionali spesso si concentrano sulla modellazione statica, ma l’uso esclusivo di scansioni 3D sintetiche per l’addestramento limita la capacità di adattamento a vari scenari reali. D’altro canto, i metodi basati su ottimizzazione applicati a sequenze video possono offrire una maggiore fedeltà, sebbene richiedano condizioni di acquisizione controllate e processi di raffinamento intensivi dal punto di vista computazionale.

In questo contesto, emerge il Large Animatable Human Reconstruction Model (LHM), un approccio innovativo che sfrutta un’architettura di trasformatore multimodale per generare avatar 3D ad alta fedeltà in un singolo passaggio di feed-forward. Il modello integra efficacemente le caratteristiche posizionali del corpo umano con le informazioni visive, utilizzando un meccanismo di attenzione che preserva dettagli importanti della geometria e dell’aspetto dell’abbigliamento. Per migliorare ulteriormente la rappresentazione dell’identità del viso e i dettagli fini, è stato sviluppato uno schema di codifica a piramide delle caratteristiche della testa, che aggrega informazioni multiscala delle regioni facciali.

Le valutazioni sperimentali hanno evidenziato che LHM è in grado di generare in pochi secondi modelli umani plausibili e animabili, senza la necessità di post-elaborazione per viso e mani. Questo risultato rappresenta un significativo avanzamento rispetto alle metodologie precedenti, offrendo una combinazione senza precedenti di accuratezza nella ricostruzione e capacità di adattamento a diverse condizioni.

L’approccio proposto da LHM segna un passo importante verso la realizzazione di modelli 3D umani animabili più accessibili e versatili, con applicazioni potenziali in vari settori, tra cui l’intrattenimento, la realtà virtuale e l’e-commerce.