Panjaya trasforma il doppiaggio video con l’AI | Festina Lente - Notizie, recensioni e approfondimenti sull’intelligenza artificiale | Turtles AI

 La startup israeliana Panjaya sta rivoluzionando il doppiaggio video con una tecnologia di AI generativa che permette di ricreare voci e movimenti dei parlanti in diverse lingue. La nuova piattaforma, BodyTalk, punta a rendere i contenuti multimediali più naturali e coinvolgenti, con l’obiettivo di migliorare la fruizione globale dei video in ambito B2B.

Punti chiave:

•  Panjaya ha lanciato BodyTalk, una piattaforma di doppiaggio basata su AI che sincronizza la voce e i movimenti del corpo del parlante con la traduzione in 29 lingue.
•  La startup, fondata da esperti di deep learning israeliani, ha recentemente raccolto 9,5 milioni di dollari di finanziamenti.
•  Il motore di lip sync è sviluppato internamente per offrire una qualità superiore, con particolare attenzione alla precisione dei movimenti facciali e delle espressioni.
•  Panjaya si rivolge al mercato B2B e sta espandendo l’uso della tecnologia in settori come istruzione, salute e marketing, con applicazioni in tempo quasi reale.

Nel panorama delle tecnologie emergenti per la traduzione e il doppiaggio video, Panjaya sta facendo parlare di sé con un approccio innovativo che unisce AI e deep learning per offrire esperienze multimediali più naturali e realistiche. La startup israeliana ha infatti sviluppato una piattaforma chiamata BodyTalk, che sfrutta l’AI per tradurre non solo le parole, ma anche la voce e i movimenti fisici del parlante, creando video doppiati che mantengono un alto grado di autenticità. Questa tecnologia di doppiaggio iperrealistico, che è in grado di replicare fedelmente la voce originale di una persona in una lingua diversa, modifica in tempo quasi reale anche i movimenti delle labbra e altre espressioni facciali per adattarsi al nuovo discorso, evitando disallineamenti tra audio e video. Dopo un lungo periodo di ricerca e sviluppo sotto il radar, la startup ha recentemente lanciato la prima versione del prodotto, attrarre il mercato con un finanziamento esterno di 9,5 milioni di dollari, che servirà a consolidare e ampliare la sua offerta.

Panjaya è il frutto dell’ingegno di Hilik Shani e Ariel Shalom, due specialisti di deep learning che, dopo aver lavorato per anni per il governo israeliano, hanno deciso di fare il grande salto nel mondo delle startup. Nel 2021, insieme al CEO Guy Piekarz, ex fondatore di Matcha, acquisita da Apple nel 2013 per contribuire allo sviluppo della piattaforma di streaming video dell’azienda di Cupertino, hanno dato vita a questa iniziativa con l’obiettivo di applicare le potenzialità del deep learning alla traduzione video. Seppur non fondatore di Panjaya, Piekarz ha portato con sé una lunga esperienza nel settore delle tecnologie per i media e lo streaming, che ha avuto un impatto positivo sull’evoluzione della startup. La sua conoscenza dei media digitali e la sua esperienza con Apple TV si riflettono nelle ambizioni di Panjaya di raggiungere un pubblico globale con un prodotto altamente innovativo.

La piattaforma BodyTalk è in grado di eseguire una traduzione automatica in 29 lingue diverse, e si distingue per la capacità di ridisegnare la parte audio e video di un contenuto multimediale in modo che la traduzione risulti naturale, con la voce che imita quella dell’oratore originale. Le modifiche ai movimenti facciali sono anch’esse sincronizzate con la nuova lingua, ottenendo un doppiaggio estremamente realistico, che non ha nulla a che fare con i tradizionali sottotitoli o le versioni doppiate standard. L’intero processo di traduzione e adattamento ai nuovi schemi di parlato è realizzato in modo quasi automatico, a partire dal video caricato sulla piattaforma, dove l’utente può anche fare piccole modifiche attraverso una dashboard di editing integrata. Sebbene la tecnologia sia ancora in fase di affinamento, la piattaforma è in grado di restituire risultati di alta qualità in pochi minuti, e l’azienda sta lavorando per offrire una versione che permetta l’elaborazione in tempo reale. Panjaya, infatti, non si limita a usare modelli linguistici di terze parti, ma sta sviluppando anche i propri algoritmi, in particolare per quanto riguarda la parte relativa al lip sync, un aspetto che richiede un livello di precisione molto alto, spesso difficile da ottenere con le tecnologie esistenti.

Attualmente, Panjaya si rivolge al mercato B2B, con clienti di prestigio come TED e JFrog. La scelta di concentrarsi su questo segmento di mercato permette alla startup di avere un maggiore controllo sull’uso della sua tecnologia, che potrebbe avere implicazioni importanti in termini di etica e sicurezza. Non a caso, uno degli obiettivi principali di Panjaya è quello di evitare che la sua piattaforma venga utilizzata in modo improprio, come nel caso dei deepfake. Sebbene le tecnologie di sintesi video come quella di Panjaya possano evocare, in alcuni casi, immagini distorte o inquietanti, Piekarz è fermamente intenzionato a distinguere il suo prodotto da quello che è associato ai deepfake, un termine che ormai ha una connotazione negativa. La startup sta implementando “guardrail” tecnologici per monitorare l’uso della piattaforma e prevenire la disinformazione, incluse misure di tracciamento come la filigrana per identificare quando un video è stato modificato.

In un mondo in cui i contenuti video sono sempre più globali e dove la comunicazione multilingue è fondamentale, la tecnologia di Panjaya potrebbe essere la chiave per rispondere a una domanda crescente di traduzioni autentiche e convincenti. Se la sua intuizione si rivelerà corretta, l’offerta di contenuti in lingua nativa, realizzati con il supporto di tecnologie di doppiaggio avanzato, potrebbe superare il tradizionale ricorso ai sottotitoli. Non a caso, uno dei primi clienti della startup, TED, ha registrato un significativo aumento di visualizzazioni (115%) per i suoi video doppiati con la tecnologia BodyTalk, segnalando un potenziale enorme per l’adozione di questo tipo di innovazione nei settori aziendali e formativi.

La crescita del mercato della traduzione automatica video e doppiaggio, unita alla possibilità di una fruizione ancora più immediata e naturale dei contenuti, segna l’inizio di una nuova era nella comunicazione digitale globale.