Come controllare la frequenza di scansione dei bot

I bot e i crawler sono software automatici che navigano il vostro sito per i motivi più svariati: ad esempio il bot di Google viene utilizzato dal gigante di Internet per catalogare e indicizzare il vostro sito nel suo motore di ricerca, mentre il bot di Bing è l’equivalente Microsoft.

Ma non tutti i bot sono portatori di vantaggi, anzi una frequentazione massiva di questo tipo di visitatori automatici rischierà addirittura di saturare l’intero quantitativo di risorse messe a vostra disposizione, con la spiacevole conseguenza di una sospensione dell’account.

Per controllare la frequenza di scansione dei bot (in inglese si usa il termine ‘crawling’) è possibile agire tramite il file robots.txt. Ecco un esempio di una possibile configurazione:


User-agent: *
Crawl-delay: 35
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-*

user-agent: sistrix
disallow: /


Questa configurazione, oltre a bloccare eventuali cartelle di WordPress da un’inutile azione troppo frequente da parte dei bot, non consentirà a bot dannosi di navigare il nostro sito, risparmiando così un innumerevole quantitativo di risorse. Tali bot bloccati causano soltanto problemi, non appartengono a motori di ricerca (se non Yandex, che è russo, toglietelo dalla lista se vi interessa ricevere traffico dalla Russia).

Ma ciò non è sufficiente per controllare la frequenza di scansione da parte di Google e Bing: per questi due motori di ricerca dovrete controllare il ritardo di scansione dal pannello di controllo:

http://support.google.com/webmasters/bin/answer.py?hl=it&answer=48620
http://www.bing.com/webmaster/help/crawl-control-55a30302

In particolare, per Google dovrete accedere ai webmaster tools ed inserire un valore basso, come ad esempio:

• 0.004 richieste al secondo
• 250 secondi tra le richieste

Così facendo il bot di Google navigherà il vostro sito al massimo ogni 250 secondi, una frequenza che non danneggia assolutamente il posizionamento e consentirà al vostro account di risparmiare preziose risorse.