Controllare La Frequenza Di Indicizzazione Di Google

Controllare la frequenza di indicizzazione di Google è un tema molto importante ai fini del posizionamento.

Per alcuni Google passa troppo spesso per altri troppo raramente.
Altri protestano perchè non visita il loro sito per intero ed altri ottengono il ribaltamento quando le zone che non hanno voluto accessibili tramite i motori di ricerca compaiono nell'indice di Google.

Google visita spesso un sito se è aggiornato frequentemente ed è citato spesso da altri siti.
Quindi più link si hanno specialmente con fonti tipo social networks dove googlebot passa di frequente più possibilità si hanno di farsi trovare dallo spider.

Inoltre, è certamente possibile trattenere il robot. Potete controllare le pagine dove Googlebot passa e chiedere una riduzione della frequenza o della profondità.
Per fare ciò il migliore metodo è usare un file robots.txt.

Esso è semplicemente un file di testo di ASCII che disponete nella root del vostro dominio.
Per esempio: http://www.yourdomain.com/robots.txt.
Potreste usare robots.txt per impedire l'indicizzazione di alcune vostre pagine d'accesso che sono coperte da diritti di autore.

Ogni blocco della file di robots.txt elenca in primo luogo il nome dello spider, quindi la lista degli indici o dei file di cui non è permesso accedere.

Ecco un esempio del robots:


User-agent: *

Disallowed: /images/
Disallowed: /cgi-bin/

Con " User-agent: * " ci si riferisce a tutti gli spider

Con " Disallowed: /images/ " non permettimo agli spider di indicizzare questa directory


Per controllare la frequenza del Googlebot, dovete aprire un account su Google Webmaster.
Potete allora scegliere una delle tre regolazioni: più velocemente, normale, o più lento.
Il normale è suggerito.

Dovreste notare che nessuno di questi metodi di spidering è 100% certo (specialmente per gli altri spider).

La modifica del meta per evitare che gli spider seguano i collegamenti alla vostra pagina non sono molto affidabili specialmente con altri motori di ricerca.

Google è conosciuto per osservare sia le istruzioni NOINDEX che NOFOLLOW, ma poichè altri motori di ricerca non lo fanno spesso, io suggeriremmo l'uso di un robots.txt come miglior metodo.