Cloudflare lancia Pay per Crawl: accesso a pagamento per i bot AI sui contenuti web | Festina Lente - Notizie, recensioni e approfondimenti sull’intelligenza artificiale | Turtles AI

 Cloudflare introduce “Pay per Crawl”, un sistema che consente agli editori di monetizzare l’accesso dei bot AI ai loro siti, integrando prezzi via codice HTTP 402. Il sistema segue una fase di strumenti per bloccare e analizzare crawl automatizzati.

Punti chiave:

• Sistema “Pay per Crawl” per farsi pagare per ogni richiesta bot AI.
• Blocchi predefiniti ai crawler AI su nuovi domini; accesso consentito o a pagamento su richiesta.
• Supporto da parte di grandi publisher (Conde Nast, AP, Reddit, Pinterest).
• Si sfruttano intestazioni HTTP, firme digitali e Web Bot Auth per autenticare i crawler e applicare tariffe.

Cloudflare, infrastruttura adottata da circa il 20% dei siti Web, lancia un esperimento in beta privata chiamato Pay per Crawl che consente ai proprietari di siti di scegliere tra tre opzioni quando un bot AI tenta lo scraping: consentire l’accesso gratuito, imporre una tariffa fissa a richiesta o bloccare completamente l’accesso. La procedura prevede che i crawler presentino credenziali e intestazioni specifiche – fra cui signature-agent, signature-input, e signature – con firme Ed25519, e che il server risponda con codice 402 (“Payment Required”) se non è presente un intento di pagamento.

L’idea è maturata dopo un anno di sviluppo di strumenti come AI Labyrinth – un sistema di honeypot per individuare bot non autorizzati – e AI Audit, che consente ai publisher di monitorare attività, frequenza e origine dei crawl. Il modello punta a restituire ai creatori di contenuti il controllo e la possibilità di monetizzare l’uso del proprio materiale, contrastando il declino dei referral da motori di ricerca e il calo dei ricavi pubblicitari derivante dalla risposta diretta di chatbot AI.

Diversi editori e piattaforme importanti – fra cui The Atlantic, Stack Overflow, Fortune e Gannett – hanno aderito, supportando un approccio “permission‑based” per lo scraping AI. Secondo Reuters, il rapporto tra crawl e clic (crawl-to-referral ratio) è aumentato drasticamente: da 6:1 a 18:1 per Google, e fino a 1.500:1 per OpenAI. Ciò evidenzia come i bot AI stiano consumando contenuti senza restituire traffico ai siti d’origine.

La soluzione tecnica si avvale del codice 402, infrastrutture di autenticazione standard e un motore di regole per decidere tra permettere, addebitare o bloccare, integrandosi con le già presenti policy di sicurezza e bot management. Cloudflare agisce come Merchant of Record e procede con la liquidazione verso i publisher per le richieste autorizzate e pagate.

Il presidente e CEO Matthew Prince ha commentato che questa strategia serve a riportare l’incentivo economico ai creatori di contenuti e mantenere vivo un ricco ecosistema internet, pur permettendo l’innovazione AI. Sul fronte legale, alcuni editori hanno intrapreso azioni legali riguardo all’uso di contenuti online, mentre altri preferiscono accordi volontari; Pay per Crawl potrebbe costituire un modello più equo e scalabile.

Il lancio – attualmente in fase privata – invita crawler interessati a partecipare e permette già ai publisher di registrarsi tramite dashboard dedicata o contattando il loro account manager Cloudflare.

 Pay per Crawl rappresenta un nuovo tentativo di trasformare l’accesso dei bot AI in una transazione economica misurabile, sfruttando protocolli consolidati e meccanismi di autenticazione avanzati per restituire valore ai contenuti originali.