SAM in arrivo anche nel video: SAM-track | Generatore Immagini Gratis Senza Registrazione | Ai Generator Free | Generatore Immagini ai Bing | Turtles AI

  Un team di ricercatori del #ReLER #Lab della #College of #Computer #Science and #Technology della #Zhejiang #University ha sviluppato un progetto open-source chiamato Segment and Track Anything (#SAM-Track) in grado di segmentare e tracciare qualsiasi oggetto nei video utilizzando metodi sia automatici che interattivi. Il team comprende @Wenguan Wang, @Yuanyou Xu, @Yangming Cheng, @Liulei Li, @Zongxin Yang e @Yi Yang ed è supervisionato dal ReLER Lab del College of Computer Science and Technology della Zhejiang University. La pipeline SAM-Track utilizza l’algoritmo SAM (Segment Anything Models) per la segmentazione automatica/interattiva dei fotogrammi chiave e l’algoritmo #DeAOT (Decoupling features in Associating Objects with Transformers) per un efficiente tracciamento e propagazione di più oggetti. La pipeline SAM-Track è in grado di rilevare e segmentare dinamicamente e automaticamente nuovi oggetti utilizzando SAM, mentre DeAOT è responsabile del tracciamento di tutti gli oggetti identificati. Per illustrare le capacità di SAM-Track, il team ha pubblicato un versatile video dimostrativo che ne illustra le capacità di segmentazione e tracciamento in vari scenari, come viste stradali, AR, celle, animazioni, riprese aeree e altro ancora. Inoltre, il team ha creato una funzione che consente agli utenti di modificare interattivamente la maschera per il fotogramma video iniziale in base alle proprie esigenze. Le capacità di segmentazione interattiva di Segment-and-Track-Anything sono dimostrate nelle Demo1 e Demo2. La Demo1 illustra la capacità di SAM-Track di segmentare e tracciare in modo interattivo singoli oggetti, mentre la Demo2 mostra la capacità di aggiungere in modo interattivo oggetti specifici da tracciare. Per iniziare a utilizzare SAM-Track, gli utenti devono clonare e rinominare i repository Segment-Anything e AOT-benchmark, verificare i requisiti di dipendenza e utilizzare lo script install.sh per installare le librerie necessarie. Gli utenti possono anche scaricare i modelli SAM e DeAOT/AOT predefiniti ed eseguire il file demo.ipynb per generare i risultati. Il team ha anche sviluppato un’interfaccia visiva di facile utilizzo che consente agli utenti di ottenere facilmente i risultati dei loro esperimenti. Gli utenti possono caricare il video direttamente sull’interfaccia e utilizzare Segtracker per tracciare tutti gli oggetti all’interno del video. Il progetto è open-source e le licenze per il codice preso in prestito si trovano nel file licenses.md.