Windows 11 apre la porta a Copilot: l’assistente che “muove le mani” dentro il computer | Festina Lente - Notizie, recensioni e approfondimenti sull’intelligenza artificiale | Turtles AI

Microsoft sta sperimentando una modalità chiamata Copilot Actions per Windows 11, che permetterà all’assistente AI di intervenire sui file locali (ordinare foto, estrarre dati da documenti, ecc.). La funzione verrà testata inizialmente da Insiders, con controlli rigorosi e limiti d’uso.

Punti chiave:

• Copilot Actions estende l’AI oltre il browser: potrà operare sui file memorizzati sul PC.
• L’accesso è riservato agli utenti del programma Windows Insider e Copilot Labs, e disattivato di default.
• Le azioni vengono eseguite in un ambiente isolato e l’utente può intervenire in qualsiasi momento.
• L’aggiornamento include anche l’attivazione vocale “Hey Copilot”, integrazione taskbar e connessione ai servizi esterni (Gmail, OneDrive, ecc.).

Microsoft ha annunciato che introdurrà in Windows 11 una funzione sperimentale denominata Copilot Actions, ideata per consentire all’assistente AI di eseguire compiti autonomi direttamente su file locali  non solo online  come ordinare immagini, estrarre informazioni da PDF, generare contenuti da documenti personali o applicare modifiche a elementi archiviati nel PC.  L’idea è che l’utente comunichi all’assistente “voglio che tu faccia questo” (in linguaggio naturale), e Copilot provi a svolgere la richiesta interagendo con applicazioni desktop o web, mentre l’utente può continuare a lavorare su altro o intervenire quando necessario. 

La sperimentazione sarà riservata inizialmente agli aderenti al programma Windows Insider e al gruppo Copilot Labs, dove Microsoft testare gli scenari reali sotto stretto controllo.  Per garantire sicurezza e tutela dei dati personali, tale funzione è disattivata di default: l’utente dovrà attivarla volontariamente, concedendo esplicitamente l’accesso a specifiche cartelle (Desktop, Documenti, Download, Immagini) e potrà sospenderne l’attività in ogni momento. Le sue operazioni verranno eseguite in un “ambiente agente” separato, con un proprio desktop, affinché l’attività non interferisca con il lavoro dell’utente e sia possibile monitorare passo per passo cosa accade.

Uno dei primi esempi pratici riguarda una voce contestuale nel menu contestuale di Esplora file: selezionando un file, l’utente potrà cliccare su “Crea sito web con Manus”, richiamando un agente Manus (startup singaporiana) che converte contenuti locali in pagine web. Altri casi includono il raggruppamento e l’analisi di immagini recenti, la riorganizzazione automatica, e l’estrazione di dati da vari formati documentali. 

Parallelamente all’espansione di Copilot Actions, Microsoft introduce nuove modalità di interazione con l’assistente: l’attivazione vocale “Hey Copilot” permette di richiamare l’assistente parlando, simile agli smart speaker.  La funzionalità Vision (analisi del contenuto visualizzato sullo schermo) diventa più ubiqua e potrà essere interrogata anche via testo, oltre che a voce.  Inoltre si prevede che nella barra delle applicazioni venga aggiunto un pulsante dedicato “Ask Copilot” o “Copilot” per avviare rapidamente conversazioni, attivare Vision o Actions con un solo clic.  Microsoft ha spiegato che queste novità utilizzano interfacce esistenti (API di ricerca, file system, impostazioni) e non concedono automaticamente accesso ai file personali se non espressamente autorizzato. 

Questo lancio giunge proprio quando Microsoft ha cessato il supporto gratuito per Windows 10, spingendo gli utenti a migrare verso Windows 11. In tale contesto, queste novità AI rafforzano il ruolo centrale che Copilot assume nell’esperienza utente di Windows 11, tentando di trasformare il sistema in un ambiente “intelligente” dove l’assistente non è solo un consulente ma può intervenire materialmente sui compiti. C’è chi osserva che Microsoft sta “riscrivendo” Windows 11 attorno all’AI, fondendo input vocale, visione e agenti capaci di agire dentro al sistema operativo.

 Restano incognite sull’efficienza su interfacce complesse, la gestione degli errori, le implicazioni in termini di privacy, e l’accettazione da parte degli utenti.