Google rinnova l’intera documentazione sul crawling

Google ha lanciato una importante rivisitazione della sua documentazione sul Crawler, riducendo la pagina principale e suddividendo i contenuti in tre nuove pagine più focalizzate. Nonostante il changelog minimizzi le modifiche, in realtà c’è una sezione completamente nuova e praticamente una riscrittura dell’intera pagina di panoramica del crawler. Le pagine aggiuntive consentono a Google di aumentare la densità delle informazioni di tutte le pagine del crawler e migliorare la copertura tematica.

Cosa è cambiato?

Il changelog della documentazione di Google nota due cambiamenti ma ce ne sono molti di più. Ecco alcune delle modifiche:
– Aggiornato il nome utente per il crawler GoogleProducer
– Aggiunte informazioni sull’encoding del contenuto
– Aggiunta una nuova sezione sulle proprietà tecniche

La sezione sulle proprietà tecniche contiene informazioni completamente nuove che non esistevano prima. Non ci sono cambiamenti nel comportamento del crawler, ma creando tre pagine specifiche per argomento, Google è in grado di aggiungere più informazioni alla pagina di panoramica del crawler contemporaneamente rendendola più piccola.

Le modifiche al documento sono dovute al fatto che la pagina di panoramica era diventata troppo grande. Altre informazioni sul crawler avrebbero reso la pagina ancora più grande. Si è quindi deciso di suddividere la pagina in tre sottoargomenti in modo che i contenuti specifici sul crawler potessero continuare a crescere e fare spazio a informazioni più generali sulla pagina di panoramica. Suddividere i sottoargomenti in pagine autonome è una soluzione brillante al problema di come meglio servire gli utenti.

Mentre il contenuto rimane sostanzialmente lo stesso, la divisione in sottoargomenti rende più facile per Google aggiungere più contenuti alle nuove pagine senza continuare a far crescere la pagina originale. La pagina originale, chiamata Panoramica dei crawler e fetcher di Google (user agent), è ora davvero una panoramica con contenuti più granulari spostati su pagine autonome.

Google ha pubblicato tre nuove pagine:
– Crawler comuni
– Crawler speciali
– Fetcher attivati dall’utente

Crawler comuni

Come dice il titolo, si tratta di crawler comuni, alcuni dei quali sono associati a GoogleBot, tra cui Google-InspectionTool, che utilizza l’user agent di GoogleBot. Tutti i bot elencati in questa pagina rispettano le regole del robots.txt.

Crawler speciali

Si tratta di crawler associati a prodotti specifici, che vengono esplorati d’accordo con gli utenti di quei prodotti e operano da indirizzi IP distinti dagli indirizzi IP del crawler GoogleBot.

Fetcher attivati dall’utente

La pagina Fetcher attivati dall’utente copre i bot attivati su richiesta dell’utente, spiegando così il loro funzionamento. La documentazione copre i seguenti bot: Feedfetcher, Google Publisher Center, Google Read Aloud, Google Site Verifier.

In sintesi, la pagina di panoramica del crawler di Google è diventata troppo esaustiva e forse meno utile perché le persone non hanno sempre bisogno di una pagina completa, sono interessate a informazioni specifiche. La pagina di panoramica è meno specifica ma più facile da capire. Ora funge da punto di ingresso in cui gli utenti possono approfondire temi più specifici relativi ai tre tipi di crawler.

Questo cambiamento offre spunti su come rinnovare una pagina che potrebbe non essere performante perché è diventata troppo esaustiva. Suddividere una pagina esaustiva in pagine autonome consente ai sottoargomenti di rispondere alle esigenze specifiche degli utenti e potenzialmente renderle più utili se si posizionano nei risultati di ricerca.

Non direi che il cambiamento riflette nulla nell’algoritmo di Google, riflette solo come Google ha aggiornato la propria documentazione per renderla più utile e predisporla per l’aggiunta di ulteriori informazioni.