Come editare il file robots.txt utilizzando Yoast SEO

Perciò dicono ai bot cosa indicizzare, cosa evitare e se necessario indicano al bot di iniziare a indicizzare il sito con un po’ di ritardo. Il file spiega inoltre come trattare i link presenti sul sito, categorizzandoli come “follow” oppure “no follow”.

Questo tipo di file utilizza una sintassi particolare, che vedremo tra poco.

Per dirla in modo conciso, il file robots.txt indica agli user agents (i bot) se possono (allow) o meno (disallow) indicizzare le varie parti del sito.

Visto che influenzano come i motori di ricerca “vedono” il tuo sito e come lo presentano poi agli utenti, i file robots.txt sono legati alla SEO.

Editare il file robots.txt utilizzando Yoast SEO

Ci sono due modi per editare il file robots.txt utilizzando Yoast SEO: facendolo nella bacheca di WordPress oppure a livello del server.

Se il file robots.txt non dovesse essere modificabile, oppure se durante l’installazione di WordPress fosse stata disabilitata questa funzione, la modifica tramite bacheca potrebbe fallire.

In quel caso dovrai editare il file a livello di server.

Creazione o modifica tramite la bacheca di WordPress

Dopo aver effettuato l’accesso al tuo sito WordPress, aver installato e attivato Yoast SEO, clicca sul menu Yoast SEO che trovi nella sidebar a sinistra dello schermo.

Clicca su Strumenti, poi su Modifica file.

Questa opzione dovrebbe esser disponibile a meno che non sia stata disabilitata la modifica dei file.

Se non dovessi trovarla, dovrai abilitarla oppure procedere a editare il file robots.txt tramite server (nel prossimo paragrafo ti mostro come fare).

Se il file non è già presente, puoi crearlo cliccando sull’apposito pulsante Crea il file robots.txt.

Ora potrai editare il file robots.txt utilizzando Yoast SEO, direttamente da WordPress.

Clicca su Salva le modifiche al Robots.txt per salvare i cambiamenti.

Se hai trovato problemi o hai dubbi su questo passaggio, e non sai come risolvere, contattaci e attiva l’Assistenza WordPress.

Saremo lieti di aiutarti.

Creazione o modifica tramite server

In alcuni casi, come ho spiegato prima, potrebbe non essere possibile editare il file robots.txt utilizzando Yoast.

Quando il sito radice non contiene un file robots.txt, ne viene generato uno virtuale da WordPress.

Puoi sovrascriverlo creando un file di testo con un editor come NotePad++ oppure il semplice Blocco Note di Windows.

Crea un semplice file di testo (con estensione .txt) e salvalo con il nome robots.txt.

Fai attenzione al nome, che deve essere esattamente robots.txt, in quanto i bot distinguono tra maiuscole e minuscole e riconosceranno solo un file con quel nome esatto.

Carica il file nella radice del server.

Ti spiego perché si tratta di un altro punto molto importante.

Quando visitano un sito web, i bot cercano il robots.txt in un posto specifico: la directory principale.

Se un bot (chiamato user agent) non trova il file robots.txt nella directory principale (che corrisponde generalmente al dominio radice o alla homepage), assume che il sito non presenta alcun file.

Come ho spiegato prima, non trovando istruzioni dove guarda (quindi www.tuosito.it/robots.txt), il bot procederà a esplorare e indicizzare tutto il contenuto del sito, senza escludere nulla.

Anche se il robots.txt esiste, ma è nel posto sbagliato (ad esempio si trova all’indirizzo www.tuosito.it/homepage/robots.txt), oppure ha un nome sbagliato (come robot.txt), il bot lo ignorerà perché non riuscirà a riconoscerlo.

Come interpretare la sintassi del file robots.txt

Una delle cose interessanti del file robots.txt è che si tratta di un file pubblico, quindi puoi andare a vedere cosa fanno siti famosi e studiare i trucchi che usano per migliorare questo aspetto della SEO.

Ad esempio, puoi guardare il file di Moz.com e persino quello di Google.

A un primo sguardo può sembrare incomprensibile, ma segue una sintassi piuttosto semplice.

La sintassi del file robots.txt: i 3 termini riconosciuti da tutti i bot

Ci sono 3 termini che troverai nella maggior parte dei file e che dovrai imparare:

• User-agent: si tratta dei robot utilizzati da motori di ricerca e siti web;
  • Puoi consultare la lista che comprende la maggior parte degli user-agent;
  • Google, ad esempio, ne utilizza diversi, tra cui Googlebot per la ricerca di contenuti e Googlebot-image per quella dedicata alle immagini;
  • Puoi specificare il bot a cui applicare le regole, oppure usare un asterisco per indicare che le istruzioni si applicano a tutti;
• Disallow: dice al bot di non analizzare uno specifico URL;
  • Puoi usare una sola riga per ogni URL;
  • Questa regola si applica solo agli user-agent specificati al di sopra del comando;
  • Lasciare vuota la riga Disallow permette a tutti i bot di accedere a tutte le sezioni del tuo sito.
• Allow: questo commando indica al bot che può accedere una pagina o una sottocartella, anche se quella padre è stata esclusa;
  • Si tratta praticamente di una deroga al divieto di accesso;
  • Anche questa regola si applica solo agli user-agent specificati al di sopra del comando.

Esempio 1

L’asterisco indica che ci si rivolge a tutti i bot, il disallow è vuoto. Quindi tutti i bot possono accedere a tutte le aree del sito:

User-agent: *
Disallow: 

Esempio 2

Ci si rivolge a tutti i bot, ma il disallow presenta uno slash. Inserendo lo slash nel comando disallow, impedisci a tutti i crawler di scansionare tutti i contenuti del tuo sito (quindi fai attenzione!):

User-agent: *
Disallow: /

Esempio 3

Tutti i bot hanno accesso a tutto il sito, tranne alla cartella wp-admin. Però, hanno accesso a un singolo file contenuto in questa cartella.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Robots.txt: 2 istruzioni aggiuntive non riconosciute da tutti i bot

Ci sono altre 2 direttive che, pur non essendo universalmente seguite dai bot, è importante citare e saper utilizzare:

• Crawl-delay: indica quanti millisecondi un bot dovrebbe aspettare prima di caricare e scansionare il contenuto di una pagina
  • Non tutti i crawler riconoscono questa direttiva: Googlebot ignora questo comando, mentre gli spider di Yahoo, Bing e Yandex la utilizzano;
  • Riducendo il tempo a disposizione di questi crawler potrai recuperare un po’ di banda (riducendo il numero di richieste inviate al server), ma diminuirà il numero di pagine esplorate giornalmente;
  • Se il tuo sito è piccolo e non ricevi molto traffico da questi siti, il comando non dovrebbe avere dei grossi effetti negativi sul tuo sito;
  • Per quanto riguarda il Googlebot, lo strumento per modificare la frequenza di scansione tramite la Search Console di Google si è ormai rivelato inutile, perciò è stato ritirato;
• Sitemap: dice al bot dove trovare le mappe del sito in formato XML associate con l’URL. Solo Google, Yahoo, Bing e Ask riconoscono questo comando.

I benefici di aggiungere un file robots.txt al proprio sito

Dopo aver visto come aggiungere o modificare il file robots.txt del proprio sito, spiegato come interpretarne i comandi e dove salvarlo è ora di capire perché è importante averne uno.

Il file robots.txt ti permette di:

1. Specificare dove si trovano le sitemap del tuo sito;
2. Impedire ai motori di ricerca di indicizzare alcuni file presenti sul sito, come:
   • elementi grafici,
   • immagini,
   • PDF;
3. Mantenere private alcune sezioni del tuo sito come:
   • Il sito di test che tu oppure gli sviluppatori usate per provare le modifiche da apportare;
   • Le pagine con i risultati delle ricerche interne;
4. Impedire che duplicati del contenuto possano venire inclusi nei risultati dei motori di ricerca;
   • In questo caso, però, ti consiglio di usare le meta tag di cui ho parlato nella guida al file robots.txt, nella sezione Robots.txt e SEO;
5. Richiedere un ritardo nella scansione del sito per impedire il sovraccarico dei server quando i bot caricano simultaneamente molti contenuti.

Consigli SEO per il file robots.txt

Visto che il file robots.txt presenta dei benefici per la SEO, ci sono alcune pratiche che ti consiglio di seguire se decidi di editare il file robots.txt utilizzando Yoast SEO o in qualunque altro modo.

1. Non bloccare alcun contenuto o sezione che vorresti che fosse scansionato dai motori di ricerca.

Sembra ovvio, ma è sempre meglio far attenzione piuttosto che danneggiare la visibilità del proprio sito.

I link contenuti sulle pagine bloccate dal robots.txt non verranno seguiti, quindi ne perderai il valore SEO.

Se una pagina è stata stata linkata da altri utenti o siti, non dovresti bloccarla tramite il file robots.txt, in modo da non perdere il valore dei link ricevuti.

Potresti invece usare delle meta tag come noindex, follow per permettere ai motori di ricerca di passare il valore dei link al tuo sito.

2. Non usare il file robots.txt per impedire che i dati sensibili (come le informazioni degli utenti) finiscano nei risultati delle ricerche.

Visto che altre pagine potrebbero contenere dei link alle sezioni in cui sono presenti queste informazioni sensibili, le pagine potrebbero venire indicizzate ugualmente.

In questi casi puoi proteggere le informazioni tramite password o utilizzando delle tag noindex;

Leggi in questa guida come nascondere pagine e post dal tuo sito.

Ricorda che il file robots.txt è pubblico, non includervi mai informazioni private!

3. I motori di ricerca di solito cachano i file robots.txt almeno una volta al giorno.

Se fai delle modifiche al file, puoi accelerare l’aggiornamento inviando la nuova versione del robots.txt a Google tramite la Search Console.

Conclusione

Modificare il file robots.txt può sembrare complicato, ma facendo attenzione e pratica puoi usarlo per controllare l’accesso dei bot ai contenuti presenti sul tuo sito WordPress.

Come abbiamo visto, devi far attenzione a non fare errori, come impedire accidentalmente a Google di scansionare l’intero sito.

Editare il file robots.txt utilizzando Yoast SEO è davvero semplice.

Occorre, però, fare attenzione e seguire i consigli sulla sintassi e le pratiche da seguire per migliorare la SEO.

Sulla base di queste informazioni potresti chiederti se sia sempre necessario avere un file robots.txt per il proprio sito.

La risposta dipende dalle tue esigenze.

Se, infatti, vuoi che i bot scansionino e indicizzino tutte le aree del tuo sito web potresti non averne bisogno.

Se hai dubbi sulla SEO, puoi consultare le risorse SEO presenti sul nostro sito.

Oppure prenotare una chiamata gratuita per scoprire maggiori dettagli sulla consulenza SEO che offriamo ai nostri utenti.

Il tuo sito possiede già un file robots.txt?

Hai provato a editare il file robots.txt utilizzando Yoast SEO?

Condividi la tua esperienza o inviaci le tue domande utilizzando la sezione commenti che trovi qui sotto.