Come risolvere i principali 5 problemi del file robots.txt

Quando si tratta di costruire il proprio sito web ci sono alcuni piccoli particolari tecnici che non possono essere tralasciati. Tra questi la gestione del file robots.txt.

Per quanto sia piccolo infatti si tratta di un elemento importante per la cosiddetta SEO tecnica. Vediamo oggi quindi da una parte che cosa può fare il file robots.txt e dall’altra quali sono i cinque problemi più comuni in assoluto in cui puoi incappare chiunque e un modo rapido per risolverli. Avere una SEO tecnica che funziona è infatti il primo modo per essere visibile nei risultati di ricerca.

Il file robots.txt e la SEO tecnica

Quello che, come proprietario del tuo sito WordPress, vuoi è che gli utenti, immettendo alcune parole chiave, trovino i tuoi contenuti e li trovino in una posizione che li metta in risalto rispetto alla concorrenza. Per questo motivo probabilmente fai studi approfonditi su quello che è il tuo target audience, scegli con cura le parole chiave da utilizzare e costruisci contenuti accattivanti.

Ma se dietro le quinte la SEO tecnica non funziona, tutta la tua capacità di creare contenuti migliori di altri non serve a nulla. Il file robots.txt è in questo molto importante. Si tratta infatti del primo biglietto da visita che i bot dei motori di ricerca incontrano ed esaminano per sapere come comportarsi con quello che c’è all’interno del tuo sito.

Per quanto sia molto potente trattandosi di un file robots.txt può essere redatto e organizzato senza software appositi ma con un semplice editor di testo. Quello che si trova scritto all’interno del file robots.txt è ciò che i bot devono esaminare e classificare ciò che invece devono ignorare. Il suo scopo è quindi la gestione dei contenuti. Per questo motivo va saputo tenere a bada.

Cinque problemi e cinque soluzioni

Nonostante tu abbia redatto con cura il tuo file robots.txt i bot fanno ciò che vogliono o al contrario non sembrano seguire le istruzioni e ti ignorano. Probabilmente c’è un problema.

Quello più frequente per cui i bot dei motori di ricerca ignorano la presenza del file robots.txt è la posizione all’interno delle directory che costruiscono il sito. Ricorda che se posizioni il file robots.txt in una cartella che non è la cartella root i bot non lo troveranno, non lo leggeranno e quindi non potrai convincerli a fare ciò che c’è scritto. La soluzione, se ti accorgi che il tuo file robots.txt non viene visto dai bot, è semplicemente quello di assicurarti che si trovi nella cartella root e nel caso spostarcelo. Qualunque sottocartella inibisce la funzione del file.

Un secondo problema molto comune è la gestione del noindex all’interno del file robots.txt. Si tratta di un problema che sperimenti se il tuo sito è piuttosto vecchio ed è stato costruito prima del 2019. Vale infatti la pena ricordare che il sistema noindex non è più utilizzato da Google all’interno dei file robots.txt. Anche in questo caso la soluzione è piuttosto facile. Se ci sono dei contenuti che vuoi vengano esclusi attraverso l’innesco della regola noindex dovrai semplicemente comunicarlo a Google in un altro modo. Quello più facile ed elementare è aggiungendo un tag nello head delle pagine che vuoi vengano ignorate.

Il terzo errore è un errore di compilazione che probabilmente hai commesso almeno una volta. Si tratta di non includere l’URL della Sitemap XML all’interno del file robots.txt. Non ci sono problemi a livello puramente tecnico, i bot riescono a vivere anche se all’interno del file robots.txt non c’è la Sitemap XML, ma è chiaro che stai perdendo un’occasione. Aggiungendo infatti l’URL della Sitemap del tuo sito web darai una sorta di cartina geografica ai bot, che potranno così familiarizzare con la struttura principale del tuo sito web prima di cominciare ad analizzarlo nel dettaglio. Il suo utilizzo rende più rapida l’indicizzazione ma comunica anche al motore di ricerca e ai suoi bot che le pagine inserite sono in qualche modo importanti.

Quarto problema tra i più diffusi è quello che riguarda l’indicizzazione involontaria di un sito web che non è nei fatti pronto per incontrare il pubblico, men che meno incontrare i bot. In questo caso, all’interno del file robots.txt è bene inserire delle istruzioni specifiche per evitare che qualunque brandello del tuo sito appaia online prima che sia pronto. Ma, presta attenzione anche nel caso tu abbia un sito web che non sta facendo quello che dovrebbe in termini di traffico: potresti avere molto diligentemente attivato le istruzioni per far sì che i bot evitino il tuo sito e non averle poi cancellate nel momento in cui questo è diventato attivo realmente.

Un ultimo problema di cui vale la pena parlare è l’utilizzo delle URL assolute e di quelle relative. Le URL assolute sono quelle che cominciano con http(s) e finiscono con l’ultima parola che identifica l’indirizzo della pagina o del contenuto. Le URL relative sono quelle in cui viene tagliato tutto quello che non serve fino al contenuto cui realmente si fa riferimento. Una buona pratica per redigere il tuo file robots.txt è quello di utilizzare gli indirizzi URL relativi, in modo tale che i bot che devono analizzarlo sappiano dove andare e dove no.