Quando costruisci il tuo sito è probabile che, per comodità, tu abbia aggiunto un tag noindex per lavorare in serenità, senza che i cambiamenti che stai apportando vengano raccolti da Google.
Ma poi, quando il sito è pronto a partire, devi fare in modo di indicizzare il tuo sito. La cosa da fare assolutamente è quindi eliminare il tag noindex per permettere a Google di guardare da vicino quello che produci e quindi posizionare i tuoi contenuti correttamente all’interno della SERP.
Ma che succede se ti dimentichi di togliere il tag noindex e il tuo sito rimane nascosto anche se è ormai perfettamente funzionante? Google se ne accorge e ti cancella? E se succede, quanto tempo può volerci prima di riapparire? Cerchiamo di fare chiarezza.
Cosa fare se dimentichi di indicizzare il tuo sito?
La situazione per cui un sito può inavvertitamente uscire dal radar di Google può sembrare remota ma in realtà c’è, per esempio, anche un post sul Search Console Help che chiede che cosa fare per recuperare un sito che è scomparso dagli indici dopo aver inavvertitamente dimenticato di togliere il tag noindex prima di lanciare il sito.
Mentre altrove, per esempio su reddit, c’è chi domanda la stessa cosa ma per un sito che è stato sottoposto a un cambiamento importante nel CMS, qualcosa che per essere gestito al meglio ha bisogno che effettivamente Google non vada a prendere e a rilanciare nella SERP contenuti che non sono nella loro forma definitiva.
Un inconveniente che quindi si verifica più spesso di quanto uno vorrebbe ammettere. Per prima cosa vediamo come si realizza il noindex di un sito web. Puoi farlo nella maniera tradizionale all’interno del file robots.txt. Puoi inserire nel file il tag noindex e Google con i suoi bot dovrebbe ascoltare quello che chiedi venga fatto.
Ma c’è anche all’interno del pannello di controllo di WordPress un tick che puoi mettere con cui esplicitamente scoraggiare i motori di ricerca dall’indicizzare il sito web.
La prima cosa da fare è quindi togliere la spunta su WordPress alla voce Impostazioni > Lettura > Visibilità ai motori di ricerca e assicurarti che dentro il file robots.txt non ci siano indicazioni di questo tipo. Come per tutto quello che succede con Google, può volerci una quantità varia e non calcolabile di tempo prima che Google si accorga dell’errore che hai fatto.
Ci sono però alcune cose che puoi fare per stimolare l’attenzione. Per prima cosa, ed è un consiglio che di nuovo arriva da chi ha risposto su Search Console Help al messaggio disperato dell’utente che aveva dimenticato di togliere il tag, va utilizzato lo strumento URL inspector per chiedere che vengano indicizzate alcune delle pagine che compongono il sito web.
In particolare dovresti spingere perché venga reindicizzata la home page e alcuni dei contenuti più importanti e rappresentativi. Potresti, in linea teorica, chiedere che venga esaminato dai bot di Google tutto il tuo sito una URL dopo l’altra ma se scegli con attenzione le URL su cui far concentrare il lavoro dell’algoritmo, le altre pagine e gli altri contenuti verranno poi ritrovati a mano a mano in maniera organica.
Cosa puoi aspettarti dopo?
Ti sei accorto, e vedremo poi quali sono i segnali, di aver dimenticato di togliere la spunta o di aver lasciato noindex all’interno del file robots.txt. Per fortuna, nonostante siano passati alcuni mesi ti sei mosso per risolvere la questione e hai stimolato l’attenzione dell’algoritmo.
Hai eliminato il tag noindex e hai anche tolto la spunta sul pannello di controllo WordPress. In più hai chiesto a Google che alcuni contenuti cardine, magari quei famosi contenuti pilastro che ogni sito web dovrebbe avere, venissero sottoposti ad un esame approfondito.
Adesso, che cosa succede?
Trattandosi di qualcosa che ha a che fare con l’algoritmo di Google, che come ben sappiamo per la maggior parte ha un comportamento quasi del tutto misterioso, non è possibile fare nessuna previsione esatta riguardo le tempistiche per cui il tuo sito tornerà nella stessa posizione di prima. Ammesso che torni nella stessa posizione di prima all’interno della SERP.
Sicuramente ci vorrà del tempo. A seconda soprattutto di alcuni fattori che devi tenere in considerazione. Per prima cosa la dimensione del sito web: siti web molto grandi e ricchi si comportano all’interno della SERP e nei confronti dell’algoritmo in maniera diversa rispetto a siti piccoli con pochi contenuti. Altro elemento importante è la nicchia in cui ti muovi e i competitor.
Se i tuoi contenuti sono pensati per una cerchia ristretta di utenti paradossalmente potresti trovarti nelle condizioni di risalire più facilmente perché c’è poca competizione. Di contro, se ti muovi in un ambiente in cui c’è molta competizione potrebbero volerci anche fino a tre mesi per vedere un trend positivo. Di nuovo, devi poi tenere in considerazione l’idea che i contenuti in realtà potrebbero non tornare mai nella posizione iniziale.
Quali sono i segnali che ti sei dimenticato di indicizzare il tuo sito?
Finora abbiamo parlato di quello che succede una volta che ti sei improvvisamente ricordato di aver lasciato le spunte per il noindex. Ma, a parte la spunta all’interno del pannello di controllo di WordPress e quella piccola parola brutta e cattiva all’interno del file robots.txt, come ci si accorge che un sito web ha un problema con il tag noindex?
Devi guardare il traffico.
Come per qualunque altro elemento che ti aiuta a giudicare le performance del tuo sito e dei tuoi contenuti, devi controllare il traffico che riguarda per esempio le keyword per cui di solito vai bene e il traffico verso le pagine che sai essere i tuoi contenuti di punta.
È chiaro che ci sono diversi motivi per cui puoi sperimentare un calo nel traffico, anche semplicemente un aggiornamento nell’algoritmo di Google potrebbe portarti a perdere posizioni. Per controllare se si tratta o meno di un problema legato alla presenza del tag noindex puoi eseguire una rapida ricerca all’interno della Search Console riguardo le pagine che stanno andando a rotoli.
Ed è molto probabile che tu ti renda conto che non tutti i contenuti sono spariti. Questo perché Google è programmato anche per lavorare con gli sviluppatori un po’ sbadati. Molte volte i file robots.txt vengono letti ma quasi ignorati e solo nel caso le istruzioni rimangano per molto tempo di un certo tipo allora vengono effettivamente seguite.
Oltre a questo c’è da tenere presente che le pagine di un sito web non vengono esaminate dai bot in batteria ma periodicamente e in un ordine non prestabilito. Se quindi anche parte dei contenuti del tuo sito web ha subito una battuta d’arresto a causa del tag noindex, non è detto che la presenza di questo tag abbia compromesso la tua totale presenza in rete. L’importante è muoversi più rapidamente possibile in maniera tale che i bot possano tornare a lavorare correttamente in breve tempo.
