Oasis: il Futuro dei Mondi Interattivi Generati dall’AI | Console games download | All in one emulator console | Pacman 30th anniversary | Turtles AI

 
Oasis è un innovativo modello di AI per la creazione di mondi interattivi open-world, che genera gameplay in tempo reale tramite un approccio autoregressivo. Utilizzando avanzate architetture basate su Transformer, offre esperienze immersive senza l’ausilio di un motore di gioco tradizionale. La velocità e la scalabilità sono garantite grazie all’ottimizzazione su hardware dedicato.

Punti Chiave:

•  Oasis è il primo modello di AI per la generazione di mondi open-world interattivi in tempo reale.  
•  Utilizza un’architettura Transformer avanzata con un autoencoder spaziale e un backbone di diffusione latente.  
•  Genera gameplay dinamico e interattivo senza un motore di gioco tradizionale.  
•  Per migliorare la velocità e ridurre i costi, il modello è ottimizzato per l’hardware Sohu, progettato per supportare modelli di grandi dimensioni.

Oasis rappresenta una delle vette più avanzate nella ricerca sulla creazione di mondi virtuali interattivi generati tramite intelligenza artificiale, rompendo i tradizionali confini tra videogiochi e modelli di AI. Questo innovativo sistema è stato sviluppato da Decart ed Etched come il primo passo verso una nuova generazione di esperienze di gioco in tempo reale, in cui ogni azione dell’utente influenza istantaneamente l’ambiente circostante. Ciò che rende Oasis davvero unico è il suo approccio autoregressivo, che permette di generare gameplay completo, inclusi grafica, fisica e interazione con l’ambiente, senza l’utilizzo di un motore di gioco tradizionale. Questo sistema sfrutta la potenza dei trasformatori di diffusione, che, attraverso un ciclo continuo di inferenza, crea un flusso dinamico di frames generati in risposta all’input del giocatore, rendendo l’esperienza non solo reattiva, ma anche imprevedibile, come se il mondo stesso fosse vivo e in continua evoluzione.

Al centro di Oasis c’è una sofisticata architettura basata su Transformer, composta da due componenti principali: un autoencoder spaziale e un backbone di diffusione latente. L’autoencoder, che si rifà a un modello Vision Transformer (ViT), e il backbone di diffusione, ispirato al modello DiT, lavorano sinergicamente per produrre output visivi coerenti e dettagliati. Questo approccio, al contrario di modelli bidirezionali come quelli utilizzati in altre ricerche sul gioco generato dall’AI, impiega un processo autoregressivo che crea i frame successivi uno alla volta, condizionandoli sui dati in ingresso. Ciò permette a Oasis di adattarsi in tempo reale a qualsiasi input del giocatore, che può essere un semplice comando da tastiera o, in futuro, altre modalità di interazione come il testo o l’audio.

Oasis è stato addestrato utilizzando una selezione di video tratti da Minecraft, un ambiente open-source ben noto per la sua complessità e varietà di scenari. L’utilizzo di un dataset di questo tipo ha permesso di allenare un modello che può generare, su richiesta, una vasta gamma di ambientazioni, oggetti e situazioni, simili a quelli che un giocatore potrebbe incontrare durante un’esperienza di gioco. Tuttavia, un aspetto cruciale dello sviluppo di Oasis è stato garantire la coerenza temporale, un problema ricorrente nei modelli autoregressivi. Gli errori che si accumulano nel tempo possono facilmente compromettere la qualità dell’esperienza, portando alla generazione di frame "glitchati" o incoerenti. Per risolvere questa sfida, i ricercatori di Decart ed Etched hanno implementato una tecnica innovativa di "rumore dinamico". Questa tecnica regola in modo preciso il livello di rumore durante il processo di inferenza, riducendo l’accumulo di errori e migliorando la coerenza dei dettagli nei frame generati, creando un’esperienza fluida e immersiva.

Una delle caratteristiche che distingue Oasis dai modelli concorrenti è la velocità di generazione. Mentre i modelli di AI che generano video text-to-video attuali richiedono tempi lunghi, anche su infrastrutture potenti, Oasis è progettato per operare a un frame rate di 20 fotogrammi al secondo. Questo significa che il modello è in grado di generare nuove scene praticamente in tempo reale, ogni 0,04 secondi, garantendo un’esperienza giocabile senza interruzioni. Tuttavia, per raggiungere questa velocità straordinaria e mantenere bassi i costi operativi, è stato necessario un hardware appositamente progettato. Oasis è infatti ottimizzato per l’uso su Sohu, un ASIC sviluppato da Etched che permette al modello di scalare facilmente e di gestire anche versioni molto più grandi, con 100 miliardi di parametri o più, il tutto operando a risoluzioni 4K. Questa combinazione di software avanzato e hardware dedicato rende Oasis particolarmente efficiente, con una capacità di servire più utenti contemporaneamente rispetto ai modelli tradizionali.

Nonostante i numerosi successi, ci sono ancora delle sfide da affrontare per portare Oasis al suo pieno potenziale. Tra i problemi principali ci sono la gestione della coerenza visiva in lontananza, la generalizzazione in contesti diversi e il controllo fine sui dettagli come gli inventari. Alcuni di questi problemi potrebbero essere risolti tramite un ulteriore incremento della dimensione del modello e l’espansione del dataset, ma ciò comporta la necessità di nuove innovazioni nelle tecniche di inferenza per garantire prestazioni rapide e costi contenuti. Decart ed Etched sono già al lavoro su queste migliorie, con l’obiettivo di perfezionare ulteriormente il sistema e ampliare le sue applicazioni.

 Oasis non è solo una demo tecnica che dimostra le capacità dei modelli generativi autoregressivi, ma un prototipo di ciò che potrebbe essere la prossima generazione di esperienze di gioco interattive.

La possibilità di creare mondi interi, interattivi e dinamici in tempo reale, con una grafica di qualità e fisica realistica, potrebbe rivoluzionare il concetto stesso di gioco, aprendo nuove strade per l’industria del videogame e oltre.