I Bot Crawler di Anthropic creano problemi sul traffico web | | | | Turtles AI

 Gli imprenditori segnalano problemi con il traffico eccessivo dei bot AI: Anthropic sotto accusa

Punti chiave:
- Traffico bot AI: Siti web come iFixit e Read the Docs hanno riscontrato un boom di traffico causato dai bot di Anthropic.
- Impatto sulle risorse: Le aziende segnalano un utilizzo eccessivo della larghezza di banda e risorse DevOps.
- Rispetto dei robots.txt: Discrepanze tra le affermazioni di Anthropic e le esperienze degli utenti riguardo al rispetto dei file robots.txt.
- Contatto con Anthropic: L’azienda invita i siti colpiti a segnalare problemi tramite email.

Negli ultimi tempi, numerosi imprenditori del web hanno manifestato crescenti preoccupazioni riguardo al traffico eccessivo generato dai bot delle aziende di intelligenza artificiale. I gestori di siti web di grande popolarità come iFixit, Read the Docs e Freelancer.com hanno riportato significativi picchi di traffico, attribuendoli ai bot creati dalla startup AI Anthropic. Questi bot, utilizzati per raccogliere dati di addestramento, avrebbero messo a dura prova la larghezza di banda e le risorse online delle aziende coinvolte, spesso ignorando le istruzioni di esclusione definite nei file robots.txt.

Kyle Wiens, co-fondatore e CEO di iFixit, ha denunciato pubblicamente su X (precedentemente noto come Twitter) che i server del suo sito sono stati colpiti più di un milione di volte in meno di 24 ore dai bot di Anthropic. Wiens ha sottolineato come questo traffico non autorizzato non solo abbia violato i termini di servizio di iFixit, che vietano l’uso dei loro contenuti per l’addestramento di modelli di AI, ma abbia anche gravato sulle risorse DevOps del sito.

Eric Holscher, co-fondatore della piattaforma Read the Docs, ha riportato esperienze simili. Holscher ha dichiarato che il traffico generato dai bot di Anthropic ha causato notevoli costi in termini di larghezza di banda e ha richiesto una gestione intensiva degli abusi. La preoccupazione principale è che questi comportamenti possano portare al blocco generalizzato di tutti i crawler AI, non solo per motivi di copyright, ma anche per proteggere le risorse del sito.

Il problema risiede nella configurazione dei file robots.txt, utilizzati dai proprietari dei siti web per indicare ai bot quali pagine possono o non possono essere scansionate. Sebbene Anthropic abbia affermato che il suo crawler, denominato ClaudeBot, rispetti queste direttive, i gestori di siti come iFixit hanno segnalato esperienze diverse. Jennifer Martinez, portavoce di Anthropic, ha dichiarato che ClaudeBot è stato progettato per rispettare le direttive dei file robots.txt e che eventuali problemi potrebbero essere dovuti a configurazioni obsolete di questi file.

Anthropic ha inoltre invitato i gestori dei siti web a contattare l’azienda direttamente via email (claudebot@anthropic.com) per segnalare eventuali malfunzionamenti o comportamenti anomali dei loro bot.

Questa vicenda solleva questioni importanti sull’uso responsabile delle tecnologie di AI e sulla necessità di trovare un equilibrio tra la raccolta di dati per l’addestramento dei modelli e il rispetto delle risorse e delle politiche dei siti web. La collaborazione tra aziende di AI e proprietari di siti web sarà essenziale per mitigare questi problemi e garantire un utilizzo sostenibile delle risorse online.