La guida al file robots.txt

Iniziamo la nostra guida. Prima però voglio ricordarti che che puoi richiedere subito la consulenza del nostro esperto SEO, se hai domande su come far crescere il tuo sito web sui motori di ricerca. Fissa subito una call gratuita!

Che cos’è il file robots.txt

Il file robotx.txt è il mezzo utilizzato dai web master per fornire istruzioni ai bot dei motori di ricerca (cioè, ai robottini che si occupano della scansione delle pagine web). Questo strumento si definisce Protocollo di Esclusione Robot (in inglese, Robots Exclusion Protocol).

Quando un bot inizia il processo di scansione di un sito web, il primo URL che visita è www.example.com/robots.txt; qui troverà le istruzioni fornite dal web master.

Concretamente, si può usare il file robots.txt per indicare ai bot di non effettuare la scansione di una o più pagine del proprio sito web. Questo è particolarmente utile se si hanno, per esempio, contenuti duplicati che potrebbero causare una penalizzazione da parte dei motori di ricerca.

La struttura del file robots.txt

La struttura base di questo file è molto semplice; ecco un esempio:

User-agent: *
Disallow:

La prima riga serve ad indicare i bot a cui si desidera comunicare le istruzioni (in questo caso, il simbolo * indica “tutti i bot”).

La seconda riga, invece, si riferisce alle pagine/sezioni del sito web che non dovrebbero essere visitate dai bot (nell’esempio, nessuna).

Un file contente i codici qui sopra NON esclude, quindi, alcun bot o pagina del sito web dal processo di scansione.

Nelle prossime sezioni di questa guida, approfondirò l’utilizzo dei vari codici all’interno del file.

Sitemap

Il file robots.txt può essere utilizzato anche per indicare ai bot la locazione della sitemap del proprio sito. Questo può essere fatto aggiungendo al file la seguente riga (personalizzata con le informazioni relative al proprio spazio web):

Sitemap: http://example.com/sitemap_location.xml

Dove creare il file

Non tutti i siti hanno un robots.txt: se i bot non trovano alcun file, effettueranno la scansione di tutte le pagine. Questo accade anche se un file esiste ma non contiene alcun testo.

Se vuoi creare un file robots.txt per il tuo spazio web, aggiungi il file alla directory top-level del tuo server (in modo che i bot possano trovarlo visitando www.example.com/robots.txt , o, in altre parole, sostituendo robots.txt a index.html)

Nome del file

Quando crei il file per il tuo sito web, assicurati di chiamarlo robots.txt usando solo lettere minuscole (se utilizzi il maiuscolo, i bot non saranno in grado di riconoscere il file).

I codici da utilizzare

Vediamo, dunque, quali sono i codici che puoi utilizzare all’interno del file per fornire istruzioni ai motori di ricerca (in questa guida indico solo i codici fondamentali; per approfondire l’argomento, visita il sito ufficiale dedicato del Protocollo di Esclusione Robot)

User-agent

Come abbiamo già visto, questo campo serve ad indicare i bot specifici a cui sono indirizzate le istruzioni.

Un asterisco, come vedi di seguito, è utilizzato per indicare “tutti i robot”:

User-agent: *
Disallow:

E’ però possibile anche indicare i nomi dei singoli user-agent (per esempio, se si vuole limitare l’accesso al bot di un particolare motore di ricerca). Visita questa pagina per trovare la lista dei nomi dei bot di tutti i motori di ricerca.

Se si desidera creare istruzioni specifiche per diversi user-agent, è possibile farlo in questo modo:

User-agent: nomeuseragent1
Disallow:
User-agent: *
Disallow: /latuadirectory/

Disallow

Questa voce introduce la lista di pagine/sezioni che i bot non dovrebbero visitare.

Uno slash indica “tutti i contenuti del sito”.

User-agent: *
Disallow: /

Quindi, il codice qui sopra servirà a bloccare tutti i bot da tutto il sito.

Lasciare uno spazio vuoto, come vedi qui sotto, permette invece completo accesso (in quando non viene imposta alcuna restrizione).

User-agent: *
Disallow:

Directories

È possibile restringere l’accesso a specifiche directory del server. Per farlo, è sufficiente indicare ciascuna directory (una per riga) dopo la dicitura Disallow:

User-agent: *
Disallow: /junk/
Disallow: /tmp/

Altre informazioni specifiche per i bot Google possono essere trovate su questa pagina.

Note importanti

I bot possono decidere di ignorare il file robots.txt. Questo avviene più spesso nel caso di bot “maligni” (per esempio, quelli utilizzati per attività di spamming);

Il file robots.txt è pubblicamente accessibile. Fai quindi attenzione a non inserire informazioni riservate.

Da queste due note, puoi facilmente comprendere perché questo file non dovrebbe essere utilizzato per nascondere parti del tuo sito web.

Inoltre, segnalo che:

• Ciascun sottodominio deve avere un proprio robots.txt;
• Ogni parametro deve essere inserito su una riga singola (come abbiamo visto nell’esempio relativo alle directories). Non vengono riconosciuti spazi o virgole.

Robots.txt e SEO

Vediamo, ora, se il file robots.txt può essere realmente utilizzato ed ottimizzato per la SEO.

Per iniziare, voglio fare un’importante distinzione tra l’attività di scansione (crawling) e quella di indicizzazione (indexing).

Il termine scansione si riferisce all’attività di analisi delle pagine web svolta dai crawler dei motori di ricerca. Questi robottini analizzano contenuti, link, ecc; e riferiscono le informazioni trovate ai server.

Indicizzazione indica, invece, l’inserimento degli URL delle pagine web nell’indice dei motori di ricerca.

Talvolta, anche se i bot dei motori di ricerca “rispettano” l’istruzione di non effetturare la scansione di specifiche pagine web, queste vengono comunque indicizzate.

In questo caso, gli URL delle singole pagine appaiono sulla pagina SERP ma ad essi non viene associata alcuna informazione.

D’altro lato, è anche possibile che i bot ignorino del tutto il file robots.txt.

Suggerisco, quindi, di bloccare i bot dei motori di ricerca utilizzando Meta NoIndex. In questo caso, mi riferisco ai tag meta da posizionare nella sezione “head” della pagina html per la quale si vuole restringere l’accesso.

Generalmente, questa soluzione funziona meglio, in quanto previene l’indicizzazione delle pagine (per vedere esempi di codice, consiglio di visitare questa pagina).

Seppur utilizzare i tag meta sia preferibile, è da segnalare che anch’essi possono essere ignorati dai bot dei motori di ricerca.

D’altro lato, è importante assicurarsi che non sia bloccato l’accesso a parti del sito che vuoi siano indicizzate dai motori di ricerca.

Conclusione

In questa guida introduttiva hai imparato che cos’è e come creare un file robots.txt. Abbiamo anche visto se è effettivamente utile per la SEO e come si differenzia dal tag Meta NoIndex.

Il tuo sito ha già questo file? Quali configurazioni hai utilizzato? Se hai domande o suggerimenti, ci vediamo nella sezione commenti qui sotto.