GenHMR: un approccio generativo per il recupero della Mesh corporea da immagini monoculari | Come usare midjourney | Buon giovedì speciale | Stable diffusion ai download | Turtles AI

GenHMR è una nuova proposta per il recupero generativo della mesh umana 3D a partire da immagini monoculari. Combina metodi probabilistici e deterministici per affrontare le incertezze e le occlusioni che complicano la mappatura 2D-3D, offrendo una soluzione più precisa e robusta in contesti complessi. Il modello si basa su un approccio generativo che ottimizza la previsione della pose 3D.

Punti chiave:

• GenHMR migliora il recupero della mesh umana 3D da immagini monoculari.
• Introduce il "sampling guidato dall’incertezza" per ridurre le incertezze nella ricostruzione.
• Il modello migliora la precisione delle previsioni mediante raffinamenti guidati dalla pose 2D.
• GenHMR supera le performance dei metodi tradizionali anche in situazioni di pose complesse.

Nel campo della visione artificiale, il recupero della mesh umana tridimensionale (HMR) da immagini monoculari rappresenta un compito di estrema importanza, con applicazioni che spaziano dalla salute all’industria dell’intrattenimento. Fino ad oggi, la maggior parte dei metodi utilizzati si è concentrata su approcci deterministici, generando una singola previsione per ogni immagine 2D. Tuttavia, questo processo è spesso ostacolato da incertezze legate alla profondità e da occlusioni che rendono difficile una ricostruzione accurata. Per affrontare queste problematiche, sono stati sviluppati approcci probabilistici, che cercano di generare più ricostruzioni 3D plausibili per superare le ambiguità, ma questi metodi hanno mostrato performance inferiori rispetto agli approcci deterministici.

GenHMR, un framework innovativo appena introdotto, propone una riformulazione dell’HMR come una task generativa condizionata dall’immagine, in cui vengono modellate e ridotte esplicitamente le incertezze nel processo di mappatura da 2D a 3D. La chiave di questo approccio risiede in due componenti principali: il "Pose Tokenizer" e il "Masked Transformer Condizionato all’Immagine". Il primo converte la pose umana 3D in una sequenza di token discreti all’interno di uno spazio latente, mentre il secondo apprende le distribuzioni probabilistiche di questi token, condizionate sull’immagine di input e su una sequenza di token mascherati. Durante l’inferenza, il modello campiona iterativamente i token di posa, dando priorità a quelli ad alta confidenza, il che porta a una riduzione progressiva delle incertezze nella ricostruzione 3D. Per affinare ulteriormente la qualità della ricostruzione, GenHMR adotta una tecnica di raffinamento che sfrutta la posa 2D come guida, permettendo ai token di posa di adattarsi meglio alla realtà osservata nelle immagini, migliorando la coerenza tra la mesh 3D e gli indizi della posa 2D.

I risultati ottenuti da GenHMR sono impressionanti, come dimostrato da esperimenti su set di dati di riferimento che evidenziano un significativo miglioramento delle performance rispetto agli approcci di punta come HMR2.0 e TokenHMR. Questi metodi tradizionali, sebbene basati su trasformatori visivi, hanno mostrato delle difficoltà evidenti nell’affrontare pose complesse o ambigue, spesso evidenziate da errori significativi nelle ricostruzioni. Al contrario, GenHMR affronta queste difficoltà modellando direttamente l’incertezza del processo di mappatura, ottenendo così ricostruzioni di pose 3D più accurate e robuste anche in scenari complessi.

La parte importante di questo avanzamento risiede nel processo di "Uncertainty-Guided Sampling" (UGS), che consente al modello di campionare token di posa ad alta confidenza, riducendo gradualmente le incertezze legate alla ricostruzione. A questo si aggiunge il "2D Pose-Guided Refinement", che ottimizza i token di posa per allinearsi meglio alle informazioni provenienti dalla pose 2D, affinando ulteriormente la precisione della mesh 3D. Le iterazioni di raffinamento portano a una progressiva riduzione degli errori, migliorando notevolmente la qualità della ricostruzione. Questo processo si dimostra particolarmente utile in situazioni di pose difficili, dove le occlusioni e le ambiguità della profondità possono creare notevoli difficoltà per i metodi tradizionali.

 GenHMR rappresenta un significativo passo avanti nel campo del recupero della mesh umana 3D da immagini monoculari, risolvendo le principali problematiche legate alle incertezze e alle occlusioni.

Il suo approccio innovativo, basato sul campionamento guidato dall’incertezza e sul raffinamento della pose 2D, sta ridefinendo gli standard di precisione e affidabilità in questo settore.