Cloudflare mette una nuova scadenza all’industria dell’intelligenza artificiale: dal 15 settembre 2026 i crawler usati insieme per ricerca tradizionale, agenti IA e addestramento saranno bloccati di default dalle pagine che ospitano pubblicità. La misura riguarda i cosiddetti mixed-use crawler, bot che non distinguono in modo chiaro tra indicizzazione per i motori di ricerca, utilizzo da parte di servizi agentici e raccolta di contenuti per il training dei modelli.
Il cambiamento sarà applicato alle impostazioni predefinite per i nuovi clienti Cloudflare, ai nuovi siti creati da clienti già esistenti e a tutti gli utenti gratuiti già presenti sulla piattaforma. I proprietari dei siti potranno modificare le impostazioni, ma l’impostazione di base diventa più restrittiva. In pratica, chi gestisce contenuti online potrà continuare a rendersi visibile nei canali di ricerca, ma avrà più strumenti per evitare che il proprio materiale venga assorbito gratuitamente da sistemi IA con finalità diverse.
La mossa tocca un punto sempre più delicato nel rapporto tra editori, piattaforme tecnologiche e sviluppatori di modelli: l’accesso ai contenuti del web. Cloudflare osserva che molti proprietari di siti vogliono essere trovati tramite la ricerca e, spesso, anche tramite servizi basati su IA, ma chiedono protezioni contro l’uso non remunerato della propria proprietà intellettuale. Il problema nasce quando lo stesso crawler serve più scopi e rende difficile separare ciò che alimenta la visibilità da ciò che alimenta prodotti commerciali di intelligenza artificiale.
Nel suo annuncio, l’azienda richiama anche il ruolo del più grande motore di ricerca, indicandolo come soggetto che avrebbe accesso a circa due volte più informazioni rispetto ad altre società IA, perché per molti siti restare scopribili senza essere usati anche per funzioni IA risulta complesso. Google ha contestato in passato questa generalizzazione, ricordando l’esistenza di Google Extended, un bot che consente ai proprietari dei siti di escludere i contenuti dall’uso per training e prodotti come Gemini Apps e Vertex API, senza incidere sull’inclusione in Google Search. Resta però il fatto che Googlebot esegue crawling per la ricerca, comprese funzioni IA come AI Overviews e AI Mode.
Matthew Prince, cofondatore e CEO di Cloudflare, ha collegato la decisione al superamento di una soglia simbolica: la maggioranza del traffico Internet è ormai non umano. Quel passaggio, nelle aspettative richiamate dall’azienda, non sarebbe dovuto arrivare prima dell’anno successivo. Prince ha spiegato che gli strumenti e le partnership di Cloudflare offrono ai proprietari dei siti più visibilità e opportunità commerciali, premiando al tempo stesso le società IA con bot dal “clear and transparent intent”.
La strategia non nasce nel vuoto. Cloudflare vende anche prodotti per aiutare gli utenti a lanciare sistemi IA, ma negli ultimi anni ha introdotto strumenti per dare agli editori maggiore controllo sui contenuti nell’era dell’intelligenza artificiale. Tra questi c’è Pay Per Crawl, un marketplace che permette ai siti di far pagare i bot IA per lo scraping. Ora quel modello evolve in Pay Per Use, con l’obiettivo di consentire agli editori di essere remunerati quando i loro contenuti generano valore, non solo quando vengono prelevati.
Il tema economico si intreccia con quello infrastrutturale. Secondo i dati citati da Cloudflare, oltre il 50% del traffico di crawling prodotto da crawler IA sarebbe dedicato a recuperare nuovamente pagine rimaste invariate. Ridurre questo comportamento potrebbe preservare banda e risorse di calcolo degli editori, ma anche rendere più efficiente l’accesso ai contenuti da parte dei fornitori di modelli. La questione non riguarda soltanto chi pubblica notizie: ogni impresa che produce contenuti proprietari online può trovarsi davanti allo stesso dilemma tra visibilità, controllo e monetizzazione.
Per avviare il modello, Cloudflare lavora inizialmente con Ceramic.ai e You.com. Quando un editore aderisce, viene pagato se il suo contenuto compare nei risultati di ricerca IA di Ceramic o quando You.com accede a un contenuto premium. Altre società IA potranno adattare il modello alle proprie modalità operative. La direzione indicata è quella di un web in cui l’accesso automatizzato ai contenuti non viene più trattato come una risorsa indistinta, ma come una relazione commerciale da rendere esplicita.