Google Indica di Corsa che NotebookLM Ignora i File Robots.txt

# Google Segnala Silenziosamente che NotebookLM Ignora Robots.txt

Google ha recentemente aggiornato in modo discreto la sua documentazione riguardante i “user-triggered fetchers”, introducendo nuove informazioni su Google NotebookLM. Ciò che rende questa modifica importante è il fatto che Google NotebookLM non rispetterà il file robots.txt.

## Google NotebookLM

NotebookLM è uno strumento di ricerca e scrittura basato su intelligenza artificiale che permette agli utenti di inserire un URL e di elaborare il contenuto di quella pagina. Gli utenti possono quindi porre una serie di domande e generare riassunti basati su tali contenuti. Inoltre, lo strumento è in grado di creare automaticamente una mappa mentale interattiva che organizza i temi di un sito web e ne estrae i punti salienti.

## User-Triggered Fetchers Ignorano Robots.txt

I Google User-Triggered Fetchers sono agenti web attivati dagli utenti e, per impostazione predefinita, ignorano le regole del robots.txt. Secondo la documentazione sui Google User-Triggered Fetchers:

> “Poiché il prelievo è stato richiesto da un utente, questi fetchers in genere ignorano le regole del robots.txt.”

## Google-NotebookLM Ignora Robots.txt

Il file robots.txt serve a fornire ai publisher il controllo sui bot che indicizzano le pagine web. Tuttavia, gli agenti come il fetcher Google-NotebookLM non si limitano a indicizzare il contenuto web; agiscono per conto degli utenti che interagiscono con i contenuti del sito tramite Google NotebookLM.

## Come Bloccare NotebookLM

Google utilizza il **Google-NotebookLM** come user agent quando estrae contenuti da un sito web. Pertanto, i publisher che desiderano impedire l’accesso ai loro contenuti possono creare regole per bloccare automaticamente questo user agent. Ad esempio, una soluzione semplice per i publisher WordPress è utilizzare Wordfence per creare una regola personalizzata che blocchi tutti i visitatori che utilizzano l’user agent Google-NotebookLM.

### Un altro modo per farlo è utilizzare .htaccess con la seguente regola:

“`apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC]
RewriteRule .* – [F,L]

“`

## Conclusione

Questo aggiornamento da parte di Google porta a una riflessione importante riguardo al controllo dei contenuti web e alla privacy dei publisher. Con l’aumento dell’uso di strumenti di intelligenza artificiale come NotebookLM, è fondamentale che i proprietari dei siti web comprendano le implicazioni di queste tecnologie e i modi per proteggere i loro contenuti.