Cloudflare introduce una nuova funzione per bloccare i bot AI che estraggono contenuti dai siti web | Chatgpt Login | App Intelligenza Artificiale che Disegna | Reti Neurali Machine Learning | Turtles AI

Cloudflare introduce una nuova funzione per bloccare i bot AI che estraggono contenuti dai siti web
Cloudflare lancia un’opzione per proteggere i creatori di contenuti bloccando i bot AI dal raccogliere dati senza permesso.
Giosky

Punti chiave:

  • Nuova funzione Cloudflare: Bloccare i bot AI con un clic.
  • Problemi con robots.txt: Spesso ignorato dai bot AI.
  • Tecnologia utilizzata: Machine learning e impronte digitali.
  • Preoccupazioni future: Adattamento continuo delle aziende di AI per eludere i blocchi.

 

Cloudflare ha annunciato una nuova funzionalità per i suoi clienti di web hosting che consente di bloccare i bot AI dal raccogliere dati dai siti web senza autorizzazione, rispondendo alle preoccupazioni dei clienti e proteggendo i creatori di contenuti online.

 

Cloudflare ha lanciato una nuova opzione per i clienti di web hosting che permette di impedire ai bot di AI di raccogliere contenuti dai siti web senza permesso, una mossa che risponde alle preoccupazioni diffuse tra i clienti riguardo all’uso non autorizzato dei loro dati per l’addestramento di modelli di apprendimento automatico. Questa nuova funzione, attivabile con un solo clic, mira a "preservare un internet sicuro per i creatori di contenuti", come dichiarato dall’azienda.

 

Attualmente, un metodo ampiamente utilizzato per bloccare i bot è il file robots.txt, posizionato nella directory principale del sito web, che i crawler automatizzati dovrebbero rispettare. Tuttavia, molti ritengono che la generative AI si basi su contenuti "rubati" e ci sono numerose cause legali in corso per cercare di responsabilizzare le aziende di AI.

 

Lo scorso agosto, OpenAI ha pubblicato delle linee guida su come bloccare il suo crawler GPTbot utilizzando il file robots.txt, mentre Google ha seguito l’esempio il mese successivo. Nel settembre dello stesso anno, Cloudflare ha iniziato a offrire un modo per bloccare i bot AI che rispettano le regole, e il 85% dei clienti ha abilitato questa opzione, secondo quanto dichiarato dall’azienda.

 

Cloudflare ha osservato che i bot AI visitano circa il 39% dei principali siti web gestiti dalla piattaforma, causando preoccupazioni tra i webmaster. Purtroppo, il file robots.txt, come l’intestazione Do Not Track nei browser, può essere ignorato senza gravi conseguenze. Recenti rapporti suggeriscono che i bot AI spesso non rispettano queste direttive.

 

Ad esempio, la scorsa settimana Amazon ha dichiarato di indagare su prove che mostrano come i bot utilizzati da Perplexity, un cliente di AWS, abbiano scansionato siti web, inclusi siti di notizie, riproducendo i loro contenuti senza adeguata attribuzione o permesso. Il CEO di Perplexity, Aravind Srinivas, ha negato che la sua azienda ignorasse deliberatamente il file robots.txt, ma ha ammesso che i bot di terze parti utilizzati da Perplexity potrebbero aver violato le regole.

 

Cloudflare ha affermato di aver osservato operatori di bot che tentano di mascherarsi come normali browser utilizzando user agent falsi. Il loro sistema di punteggio basato su machine learning ha costantemente classificato questi bot sotto il punteggio di 30, indicando che sono "probabilmente automatizzati".

Questa nuova funzionalità si basa sull’analisi delle impronte digitali, una tecnica comunemente utilizzata per tracciare le persone online e negare loro la privacy. I crawler, come gli utenti internet, si distinguono per dettagli tecnici visibili attraverso le interazioni di rete. Con una rete che vede una media di 57 milioni di richieste al secondo, Cloudflare dispone di una grande quantità di dati per determinare quali impronte digitali possono essere considerate affidabili.

 

La difesa contro i bot che cercano di alimentare modelli di AI è ora disponibile anche per i clienti del livello gratuito di Cloudflare. Per attivare la funzione, basta cliccare sul pulsante "Block AI Scrapers and Crawlers" nel menu Security -> Bots del proprio sito web.

Cloudflare ha espresso preoccupazione riguardo al fatto che alcune aziende di AI possano continuare a cercare di eludere i rilevamenti, adattando i loro metodi. Tuttavia, l’azienda ha promesso di continuare a monitorare e aggiungere ulteriori blocchi per i bot AI, evolvendo i loro modelli di machine learning per aiutare a mantenere un internet sicuro per i creatori di contenuti, consentendo loro di mantenere il controllo completo su quali modelli possono utilizzare i loro contenuti per l’addestramento o l’inferenza.