Microsoft presenta Visual ChatGPT | Chatgpt Test | Llm Italiano | Large Language Models Cosa Sono | Turtles AI

Microsoft presenta Visual ChatGPT
DukeRem11 marzo 2023
È stato creato un nuovo sistema chiamato Visual ChatGPT, che combina le abilità conversazionali di ChatGPT con le capacità di elaborazione delle immagini dei modelli di base di Visual Foundation (VFM). Mentre ChatGPT è limitato nell’elaborazione del linguaggio, i modelli VFM sono esperti nella comprensione e generazione di immagini complesse. Visual ChatGPT consente agli utenti di interagire con ChatGPT attraverso le immagini, fornendo domande visive complesse e ricevendo risultati corretti. Incorpora inoltre un Gestore di Prompt che specifica i formati di input-output dei modelli VFM e gestisce le storie, le priorità e i conflitti dei diversi modelli. Questo sistema apre opportunità per indagare sui ruoli visivi di ChatGPT con l’aiuto dei modelli VFM. Il sistema Visual ChatGPT è disponibile per l’uso pubblico su GitHub. In un mondo in cui l’IA sta continuamente avanzando, Microsoft ha annunciato una nuova aggiunta al mercato. Visual ChatGPT, un sistema progettato per incorporare diversi modelli di base visivi, sta cambiando il modo in cui l’IA interagisce con le immagini. Nonostante l’impressionante competenza conversazionale e le capacità di ragionamento di ChatGPT, la sua incapacità di elaborare o generare immagini dal mondo visivo è una limitazione significativa. Nel frattempo, i modelli di base visivi, come i Visual Transformers o la Diffusione Stabile, eccellono nella comprensione e generazione di immagini ma sono limitati a compiti specifici con input e output fissi a un solo round. Per affrontare queste limitazioni, Microsoft ha creato Visual ChatGPT, che consente agli utenti di interagire con ChatGPT inviando e ricevendo non solo il linguaggio ma anche le immagini. Visual ChatGPT offre molte funzioni, come fornire domande visive complesse o istruzioni di modifica visive che richiedono la collaborazione di più modelli di IA con più fasi. Inoltre, il sistema offre la possibilità di fornire feedback e chiedere risultati corretti. Microsoft ha progettato una serie di prompt per iniettare le informazioni del modello visivo in ChatGPT, che considera modelli di input/output multipli e modelli che richiedono feedback visivi. Gli esperimenti hanno dimostrato che Visual ChatGPT è un significativo passo avanti nell’indagare sui ruoli visivi di ChatGPT con l’aiuto dei modelli di base visivi. Il sistema è pubblicamente disponibile su https://github.com/microsoft/visual-chatgpt. L’architettura di Visual ChatGPT è semplice. Il sistema incorpora ChatGPT e il Gestore di Prompt colma il divario tra ChatGPT e diversi modelli di base visivi. Un utente carica un’immagine e inserisce un’istruzione linguistica complessa e, con l’aiuto del Gestore di Prompt, Visual ChatGPT avvia una catena di esecuzione di modelli di base visivi correlati. Infine, quando Visual ChatGPT ottiene gli indizi dal Gestore di Prompt, termina la pipeline di esecuzione di Visual ChatGPT, che restituisce il risultato corretto all’utente. Tuttavia, è importante notare che il modello Visual ChatGPT ha alcune limitazioni che devono essere prese in considerazione. Una di queste è la sua dipendenza da ChatGPT e VFMs, la cui precisione ed efficacia influiscono significativamente sulle prestazioni del sistema. Inoltre, l’elaborazione dei prompt richiede molta ingegnerizzazione e può essere un processo lungo che richiede competenze sia di computer vision che di elaborazione del linguaggio naturale. Il sistema può anche essere lento nel gestire attività specifiche che richiedono l’invocazione di molteplici VFMs, causando tempi di risposta più lenti. Inoltre, la lunghezza massima dei token in ChatGPT può limitare il numero di modelli di base che possono essere utilizzati. Infine, ci sono preoccupazioni per la sicurezza e la privacy quando si collegano e scollegano i modelli di base, in particolare per i modelli remoti accessibili tramite API. Nonostante queste limitazioni, Visual ChatGPT ha dimostrato di avere un grande potenziale e di essere altamente competente per diverse attività. Tuttavia, ci sono alcune preoccupazioni riguardo ai risultati generati che potrebbero non essere soddisfacenti a causa di problemi di stabilità dei VFM o di prompt instabili. In questi casi, un modulo di autocorrezione potrebbe essere utile per verificare la coerenza tra i risultati dell’esecuzione e le intenzioni umane. Tuttavia, l’implementazione di un tale modulo potrebbe portare a un aumento significativo del tempo di elaborazione del modello.