Come editare il file robots.txt utilizzando Yoast SEO

Come editare il file robots.txt utilizzando Yoast SEO

In questo articolo voglio mostrarti come editare il file robots.txt utilizzando Yoast SEO. Si tratta di un file molto importante per la SEO, in quanto indica ai motori di ricerca a quali file accedere e quali evitare. Va, quindi, maneggiato con cura per evitare di arrecare danni al posizionamento del tuo sito.

Editare il file robots.txt utilizzando Yoast SEO

Per prima cosa, chiariamo che cos’è il file robots.txt e a cosa serve.

Robots.txt è un file di testo che i webmaster creano per dire ai crawler o spiderbot come analizzare le pagine del loro sito web. In sostanza dicono ai bot cosa indicizzare, cosa evitare e, se necessario, indicano al bot di iniziare a indicizzare il sito con un po’ di ritardo. Il file spiega anche come trattare i link presenti sul sito, categorizzandoli come “follow” oppure “no follow”.

Questo tipo di file utilizza una sintassi particolare, che vedremo tra poco. Per dirla in modo conciso, il file robots.txt indica agli user agents (i bot) se possono (allow) o meno (disallow) indicizzare le varie parti del sito.

Visto che influenzano come i motori di ricerca “vedono” il tuo sito e come lo presentano poi agli utenti, i file robots.txt sono legati alla SEO.

Ci sono due modi per editare il file robots.txt utilizzando Yoast SEO: facendolo nella bacheca di WordPress oppure a livello del server. Se il file robots.txt non dovesse essere modificabile, oppure se durante l’installazione di WordPress fosse stata disabilitata questa funzione, la modifica tramite bacheca potrebbe fallire. In quel caso dovrai editare il file a livello di server.

Creazione o modifica tramite la bacheca di WordPress

Dopo aver effettuato l’accesso al tuo sito WordPress, aver installato e attivato Yoast SEO, clicca sul menu SEO che trovi nella sidebar a sinistra dello schermo.

editare il file robots.txt utilizzando Yoast SEO tramite la bacheca di WordPress

Se cliccando su SEO non viene mostrata l’opzione Strumenti, clicca su SEO per espandere il menu. Poi clicca su Bacheca e seleziona la scheda Funzionalità.

Abilita l’opzione Pagine delle impostazioni avanzate, poi clicca su Save changes per confermare.

editare il file robots.txt utilizzando Yoast SEO - impostazioni avanzate

Dopo aver compiuto questa operazione, dovresti vedere molte più opzioni disponibili nel menu SEO, che adesso dovrebbe apparire così:

editare il file robots.txt utilizzando Yoast SEO - menu strumenti

Clicca su Strumenti, poi su Modifica file.

Modificare file robots.txt con Yoast SEO

Questa opzione, come ho menzionato prima, dovrebbe esser disponibile a meno che non sia stata disabilitata la modifica dei file. Se non dovessi trovarla, dovrai abilitarla oppure procedere a editare il file robots.txt tramite server.

Se l’opzione è presente sulla pagina, dopo averla cliccata potrai editare il file robots.txt utilizzando Yoast SEO, direttamente da WordPress.

Modificare robots.txt con Yoast SEO per WordPress

Clicca su Salva i cambiamenti in Robots.txt per salvare le modifiche.

Se il file non è  già presente, puoi crearlo cliccando sull’apposito bottone.

Creazione file robots.txt con Yoast SEO per WordPress

Creazione o modifica tramite server

In alcuni casi, come ho spiegato prima, potrebbe non essere possibile editare il file robots.txt utilizzando Yoast. Quando il sito radice non contiene un file robots.txt, ne viene generato uno virtuale da WordPress. Puoi sovrascriverlo creando un file di testo con un editor come NotePad++ oppure il semplice Blocco Note di Windows.

Crea un semplice file di testo (con estensione .txt) e salvalo con il nome robots.txt.

Fai attenzione al nome, che deve essere esattamente robots.txt, in quanto i bot distinguono tra maiuscole e minuscole e riconosceranno solo un file con quel nome esatto.

Carica il file nella radice del server. Ti spiego perchè si tratta di un altro punto molto importante. Quando visitano un sito web, i bot cercano il robots.txt in un posto specifico: la directory principale. Se un bot (chiamato user agent) non trova il file robots.txt nella directory principale (che corrisponde generalmente al dominio radice o alla homepage), assume che il sito non presenta alcun file.

Come ho spiegato prima, non trovando istruzioni dove guarda (quindi www.tuosito.it/robots.txt, il bot procederà a esplorare e indicizzare tutto il contenuto del sito, senza escludere nulla. Anche se il robots.txt esiste, ma è nel posto sbagliato (ad esempio si trova all’indirizzo www.tuosito.it/homepage/robots.txt), oppure ha un nome sbagliato, il bot lo ignorerà perchè non riuscirà a riconoscerlo. 

Se WordPress dovesse bloccarti l’accesso al file virtuale, dovresti riuscire a editare il file robots.txt utilizzando Yoast SEO, seguendo la procedura che ho spiegato prima.

Come interpretare la sintassi del file robots.txt

Una delle cose interessanti del file robots.txt è che si tratta di un file pubblico, quindi puoi andare a vedere cosa fanno siti famosi e studiare i trucchi che usano per migliorare questo aspetto della SEO. Ad esempio, puoi guardare il file di Moz.com e persino quello di Google.

file robots.txt di Moz.com

A un primo sguardo può sembrare incomprensibile, ma segue una sintassi piuttosto semplice.

La sintassi del file robots.txt: i 3 termini riconosciuti da tutti i bot

Ci sono 3 termini che troverai nella maggior parte dei file e che dovrai imparare:

  • User-agent:si tratta dei robot utilizzati da motori di ricerca e siti web. Qui puoi trovare una lista che comprende la maggior parte degli user-agent. Google, ad esempio, ne utilizza diversi, tra cui Googlebot per la ricerca di contenuti e Googlebot-image per quella dedicata alle immagini. Puoi specificare il bot a cui applicare le regole, oppure usare un asterisco per indicare che le istruzioni si applicano a tutti.
  • Disallow:dice al bot di non analizzare uno specifico URL. Puoi usare una sola riga per ogni URL. Questa regola si applica solo agli user-agent specificati al di sopra del comando.Lasciare vuota la riga Disallow permette a tutti i bot di accedere a tutte le sezioni del tuo sito.
    User-agent: *
    
    Disallow:

    L’esempio qui sopra indica che tutti i bot possono accedere a tutte le aree del sito. Fai attenzione, perchè se inserisci uno slash (come nell’esempio qui sotto) impedisci, invece, a tutti i crawler di scansionare tutti i contenuti del tuo sito:

    User-agent: *
    Disallow: /
  • Allow: questo commando indica al bot che può accedere una pagina o una sottocartella, anche se quella padre è stata esclusa. Si tratta praticamente di una deroga al divieto di accesso. Anche questa regola si applica solo agli user-agent specificati al di sopra del comando.

Robots.txt: 2 istruzioni aggiuntive non riconosciute da tutti i bot

Ci sono altre 2 direttive che, pur non essendo universalmente seguite dai bot, è importante citare e saper utilizzare:

  • Crawl-delay: indica quanti millisecond un bot dovrebbe aspettare prima di caricare e scansionare il contenuto di una pagina. Non tutti i crawler riconoscono questa direttiva: Googlebot ignora questo commando, mentre gli spider di Yahoo, Bing e Yandex la utilizzano. Riducendo il tempo a disposizione di questi crawler potrai recuperare un po’ di banda (riducendo il numero di richieste inviate al server), ma diminuirà il numero di pagine esplorate giornalmente. Se il tuo sito è piccolo e non ricevi molto traffico da questi siti, il commando non dovrebbe avere dei grossi effetti negativi sul tuo sito.Per quanto riguarda il Googlebot, puoi modificare la velocità di scansione tramite la Search Console di Google. Generalmente questo non dovrebbe essere un problema, perchè il motore di ricerca determina la velocità di scansione ottimale tramite algoritmi complessi, ma puoi trovare più informazioni qui.
  • Sitemap: dice al bot dove trovare le mappe del sito in formato XML associate con l’URL. Solo Google, Yahoo, Bing e Ask riconoscono questo comando.

I benefici di aggiungere un file robots.txt al proprio sito

Dopo aver visto come aggiungere o modificare il file robots.txt del proprio sito, spiegato come interpretarne i comandi e dove salvarlo è ora di capire perchè è importante averne uno.

Il file robots.txt ti permette di:

  1. Specificare dove si trovano le sitemap del tuo sito;
  2. Impedire ai motori di ricerca di indicizzare alcuni file presenti sul sito (come elementi grafici, immagini o PDF);
  3. Mantenere private alcune sezioni del tuo sito (come il sito di test che tu oppure gli sviluppatori usate per provare le modifiche da apportare) o le pagine con i risultati delle ricerche interne;
  4. Impedire che duplicati del contenuto possano venire inclusi nei risultati dei motori di ricerca. In questo caso, però, ti consiglio di usare le meta tag di cui ho parlato nella sezione dedicata a robots.txt e SEO di questo articolo;
  5. Richiedere un ritardo nella scansione del sito per impedire il sovraccarico dei server quando i bot caricano simultaneamente molti contenuti.

Consigli SEO per il file robots.txt

Visto che il file robots.txt presenta dei benefici per la SEO, ci sono alcune pratiche che ti consiglio di seguire se decidi di editare il file robots.txt utilizzando Yoast SEO o in qualunque altro modo.

  • Non bloccare alcun contenuto o sezione che vorresti che fosse scansionato dai motori di ricerca. Sembra ovvio, ma è sempre meglio far attenzione piuttosto che danneggiare la visibilità del proprio sito.
  • I link contenuti sulle pagine bloccate dal robots.txt non verranno seguiti, quindi ne perderai il valore SEO. Immagina di avere una pagina che non vorresti venisse mostrata nei risultati delle ricerche. La pagina, però, viene spesso linkata da altri utenti o siti. In questo caso non dovresti bloccarla tramite il file robots.txt, in modo da non perdere il valore dei link ricevuti. Usando delle meta tag come noindex, follow permetti ai motori di ricerca di passare il valore dei link al tuo sito.
  • I motori di ricerca principali utilizzano diversi bot, che seguono le stesse regole. Per questo non c’è bisogno di specificare direttive differenti per ciascuno. Farlo ti permette, però, di modificare come ogni bot scansiona il sito.
  • Non usare il file robots.txt per impedire che i dati sensibili (come le informazioni degli utenti) finiscano nei risultati delle ricerche. Visto che altre pagine potrebbero contenere dei link alle sezioni in cui sono presenti queste informazioni sensibili, le pagine potrebbero venire indicizzate ugualmente. In questi casi puoi proteggere le informazioni tramite password o utilizzando delle tag noindex. Leggi in questa guida come nascondere pagine e post dal tuo sito. Ricorda che il file robots.txt è pubblico, non includervi mai informazioni private!
  • I motori di ricerca di solito cachano i file robots.txt almeno una volta al giorno. Google Search Console - invio nuovo file robots.txtPer accelerare l’aggiornamento, puoi inviare la nuova versione del robots.txt a Google tramite la Search Console.

Ti serve aiuto con la SEO del tuo sito? Prenota un appuntamento gratuito con il nostro SEO Specialist!

Conclusione

Modificare il file robots.txt può sembrare complicato, ma facendo attenzione e pratica puoi usarlo per controllare l’accesso dei bot ai contenuti presenti sul tuo sito web. Come abbiamo visto, devi far attenzione a non fare errori, come impedire accidentalmente a Google di scansionare l’intero sito.

Editare il file robots.txt utilizzando Yoast SEO è davvero semplice. Occorre, però, fare attenzione e seguire i consigli sulla sintassi e le pratiche da seguire per migliorare la SEO.

Sulla base di queste informazioni potresti chiederti se sia sempre necessario avere un file robots.txt per il proprio sito. La risposta dipende dalle tue esigenze. Se, infatti, vuoi che i bot scansionino e indicizzino tutte le aree del tuo sito web potresti non averne bisogno. Se hai dubbi sulla SEO, puoi consultare le risorse presenti sul nostro sito, seguire il video corso sulla SEO per WordPress, oppure prenotare una chiamata gratuita per scoprire maggiori dettagli sulla consulenza SEO che offriamo ai nostri utenti.

Il tuo sito possiede già un file robots.txt? Hai provato a editare il file robots.txt utilizzando Yoast SEO? Condividi la tua esperienza o inviaci le tue domande utilizzando la sezione commenti che trovi qui sotto.

Andrea Di Rocco

Andrea Di Rocco

Ciao! Sono Andrea Di Rocco, il fondatore di SOS WP. La mia missione - insieme al mio Team - è di aiutarti a diventare autonomo nel creare il tuo sito web, posizionarti sui motori di ricerca e guadagnare online grazie al tuo progetto. Oltre a questo voglio far si che tu spenda il minor quantitativo di soldi e tempo mentre raggiungi i tuoi obiettivi sul web. Conosciamoci nell'area commenti di questo articolo!

SOS WP raccomanda SiteGround come migliore hosting in Italia


Acquista SiteGround tramite il nostro link e ricevi gratuitamente la nostra Assistenza Prioritaria

SiteGround - Miglior hosting per Wordpress
2 commenti
  1. dice:

    Ciao Andrea,

    una delucidazione. Per comparire tra i risultati di ricerca ad esempio di Google, è necessario che Google scansioni il mio sito. Si può quindi modificare il file robots.txt in modo che esso la faccia in maniera più veloce e frequente? Come?

    Grazie.

    Marco

    Rispondi

Lascia un Commento

Vuoi partecipare alla discussione?
Fornisci il tuo contributo!

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *