Googlebot Raggiunge il Massimo del Traffico dei Crawler AI

## Googlebot Domina il Traffico degli AI Crawler: Analisi di Cloudflare per il 2025

### Introduzione

Nel suo sesto rapporto annuale “Year in Review”, Cloudflare offre una panoramica dettagliata sul traffico di Internet, sulla sicurezza e sull’attività dei crawler AI nel 2025. Utilizzando dati provenienti dalla propria rete globale, che gestisce oltre 81 milioni di richieste HTTP al secondo, il report evidenzia particolarmente i risultati sul crawling degli AI crawler.

### Googlebot: Il Leader Indiscusso

L’analisi condotta da Cloudflare ha rivelato che Googlebot ha sovracompensato rispetto agli altri bot AI, raggiungendo il 11,6% delle pagine web uniche campionate, più di tre volte le pagine crawlate da GPTBot di OpenAI, che si attesta al 3,6%. Anche Bingbot, con il suo 2,6%, ha dimostrato di avere una presenza significativa, però ben lontana dall’egemonia di Google.

Il report sottolinea la difficoltà per i publisher web, che devono decidere se bloccare Googlebot dal training AI o rischiare di compromettere la loro visibilità nei motori di ricerca.

### Riflessioni sul Traffico AI

Nel 2025, i bot AI (escluso Googlebot) hanno rappresentato in media il 4,2% delle richieste HTML dei clienti di Cloudflare. Il solo Googlebot ha contribuito al 4,5% delle richieste, superando quindi il totale degli altri bot AI. Si rileva anche che mentre il traffico umano all’inizio dell’anno si trovava ben al di sotto del traffico non AI, a settembre ha finalmente iniziato a superarlo, evidenziando un cambiamento nelle dinamiche del traffico web.

### Variazione dei Rapporto di Crawl-to-Refer

Cloudflare ha monitorato il tasso di traffico inviato dai crawler AI rispetto a quanto questo stesso crawler ha visitato i siti. Nel secondo semestre del 2025, Anthropic ha registrato i tassi più elevati, da 25.000:1 a 100.000:1. Al contrario, Google ha mantenuto tassi di 3:1 a 30:1, dimostrando una più equa distribuzione tra crawling e referral.

### Crescita del Crawling per Azioni degli Utenti

Un aspetto interessante è il “user action crawling”, frutto delle domande poste dagli utenti ai chatbot. Questo tipo di crawling ha visto una crescita straordinaria, acrscendo di oltre 15 volte nell’arco dell’anno.

### AI Crawler e Blocchi

I crawler AI sono stati i più frequentemente bloccati nei file robots.txt. GPTBot e ClaudeBot sono stati soggetti a numerose direttive di disallow, che impediscono loro di accedere a interi siti web.

### Settore della Società Civile Sotto Attacco

Per la prima volta, le organizzazioni del settore “Persone e Società” sono state le più colpite dagli attacchi. Questo evidenzia un cambiamento nelle priorità degli attaccanti, e molte di queste organizzazioni sono protette dall’iniziativa Project Galileo di Cloudflare.

### Conclusioni e Prospettive Future

Le informazioni sui crawler AI influenzano le strategie di accesso e traffico. Googlebot, con il suo approccio doppio, offre un vantaggio competitivo. Gli editori possono scegliere di bloccare altri crawler AI, ma non Googlebot, senza compromettere la loro visibilità nei risultati di ricerca.

Cloudflare prevede che le metriche AI continueranno a evolversi e che i dati sui tassi di crawl-to-refer cambieranno man mano che le piattaforme AI adattano le loro funzionalità di ricerca e comportamento di referral. Le politiche di gestione di robots.txt si stanno già adattando, con una preferenza per blocchi parziali contro i crawler di ricerca, mentre si adottano blocchi completi contro i crawler esclusivamente AI.

La continua evoluzione del panorama di Internet richiede una costante riflessione su come gestire l’accesso da parte dei bot e il traffico, rendendo ancora più cruciale la comprensione di tali dinamiche per il successo online nel 2026 e oltre.