NVIDIA potenzia lo sviluppo della robotica con nuovi strumenti di simulazione e AI | Ai chat online | Software intelligenza artificiale immagini | Large language models cosa sono | Turtles AI

NVIDIA ha presentato una serie di nuovi strumenti per la simulazione e l’AI dedicati allo sviluppo dei robot, inclusi gli umanoidi. Questi strumenti, tra cui Isaac Lab, il tokenizzatore Cosmos e il progetto GR00T, mirano a semplificare l’apprendimento e il miglioramento delle capacità dei robot in vari ambiti applicativi. In collaborazione con Hugging Face, NVIDIA ha inoltre ampliato le possibilità di ricerca open source nel settore della robotica.  

Punti chiave:

• Isaac Lab: un framework open source per l’apprendimento e la simulazione di robot, con applicazioni per umanoidi, robot collaborativi e quadrupedi.  
• Progetto GR00T: un’iniziativa per sviluppare modelli di base, librerie e flussi di lavoro per i robot umanoidi, focalizzandosi su percezione, movimento e interazione.  
• Tokenizzatore Cosmos: uno strumento per la creazione di modelli mondiali con elaborazione video efficiente e compressione avanzata.  
• Collaborazione Hugging Face-NVIDIA: un partenariato che punta a migliorare la robotica open source, integrando le tecnologie NVIDIA con le soluzioni di machine learning di Hugging Face.  

NVIDIA sta intensificando il suo impegno nel settore della robotica con l’introduzione di nuovi strumenti tecnologici che promettono di accelerare lo sviluppo di robot umanoidi e di estendere le capacità dell’AI nel campo. Durante la Conference for Robotic Learning di Monaco, l’azienda ha annunciato una serie di novità che spaziano dai framework di simulazione avanzati a soluzioni innovative per la gestione dei dati video. Tra i protagonisti di questa nuova fase ci sono Isaac Lab, un framework di apprendimento robotico open source, e il progetto GR00T, un’iniziativa che introduce una serie di flussi di lavoro per migliorare le capacità dei robot in termini di percezione, locomozione, controllo e interazione. Isaac Lab, costruito sulla piattaforma Omniverse di NVIDIA, rappresenta un ambiente completo per l’addestramento di robot con politiche di movimento personalizzabili e in grado di simulare una vasta gamma di situazioni, inclusi i movimenti di umanoidi e robot quadrupedi. Questo strumento è già utilizzato da numerose realtà di ricerca e aziende, tra cui Boston Dynamics, Agility Robotics e Unitree Robotics, che ne sfruttano le potenzialità per sviluppare e affinare le proprie soluzioni robotiche. Parallelamente, il progetto GR00T mira a semplificare il processo di creazione e utilizzo di modelli di base per robot umanoidi. I sei flussi di lavoro previsti includono la generazione di ambienti 3D tramite AI, la creazione di traiettorie e movimenti per la manipolazione, il controllo del corpo del robot, la locomozione e la percezione multimodale, tutti elementi fondamentali per rendere i robot più autonomi e versatili. A supporto di questi sviluppi, NVIDIA ha introdotto anche il tokenizzatore Cosmos, un avanzato strumento per la gestione dei dati visivi. Questo tokenizzatore, disponibile sia su GitHub che su Hugging Face, consente di creare modelli mondiali con una velocità di elaborazione notevolmente superiore rispetto alle soluzioni precedenti, riducendo al contempo la distorsione temporale e spaziale delle immagini. Questa innovazione è particolarmente utile quando si tratta di addestrare i robot a comprendere e interagire con il loro ambiente attraverso immagini e video. Il tokenizzatore è già utilizzato da aziende come XPENG Robotics, 1X Technologies e Hillbot per migliorare la qualità dei dati e ottimizzare il processo di addestramento. A completare questo panorama tecnologico, NVIDIA ha presentato anche NeMo Curator, una piattaforma per la cura dei dati video che semplifica l’orchestrazione delle pipeline di elaborazione su larga scala, supportando l’uso di oltre 100 petabyte di dati in modo efficiente grazie alla sua capacità di ridimensionamento lineare su sistemi multi-nodo e multi-GPU. In un contesto più ampio, NVIDIA ha annunciato una collaborazione con Hugging Face per accelerare la ricerca open source nella robotica, grazie all’integrazione delle tecnologie di simulazione Isaac Lab con le soluzioni di machine learning di Hugging Face, come la piattaforma LeRobot. Questo accordo consentirà ai ricercatori di lavorare su progetti più ambiziosi, come il miglioramento della capacità dei robot di apprendere dai dati, sia tramite dimostrazione che attraverso tentativi ed errori. Il flusso di lavoro collaborativo, che prevede l’uso di Isaac Sim e dei dati generati da GR00T, potrà velocizzare l’addestramento dei robot in scenari simulati prima di essere applicato nel mondo reale, utilizzando dispositivi come NVIDIA Jetson per l’inferenza in tempo reale. Infine, alla stessa conferenza, NVIDIA ha presentato una serie di documenti di ricerca che esplorano temi importanti come l’integrazione di modelli di linguaggio visivo per migliorare la comprensione ambientale e l’esecuzione di attività complesse, segnando un ulteriore passo avanti nell’innovazione delle tecnologie robotiche. 

Le innovazioni annunciate da NVIDIA aprono nuove prospettive per la robotica umanoide e per l’AI applicata al mondo fisico, accelerando il progresso nella creazione di robot in grado di interagire autonomamente con il loro ambiente.