Robots.txt WordPress: da dove arriva, cosa blocca e come correggerlo
Il robots.txt di WordPress è un breve testo all'indirizzo tuodominio.it/robots.txt che dice ai robot di Google cosa non visitare. Di solito WordPress lo crea al volo. Quando blocca il sito, la causa è spesso un file vero rimasto sul server dopo un trasloco o una regola aggiunta in un plugin SEO. Già che ci sei, controlla l'opzione di visibilità in Impostazioni > Lettura.
Autore: Il team TellMyShop. Una guida per i titolari di siti WordPress e negozi WooCommerce: la causa, la correzione a mano e lo stesso lavoro in una conversazione in chat.
Ultimo aggiornamento: · 7 min di lettura
Come vedere in un minuto se robots.txt blocca il sito
Apri nel browser l'indirizzo del sito con /robots.txt in fondo e leggi cosa c'è. Il file ha poche righe e si legge più facilmente di quanto sembri.
| Cosa vedi nel file | Cosa significa | È un problema |
|---|---|---|
Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php | il file predefinito di WordPress, la bacheca è chiusa ai robot | no, deve essere così |
Disallow: / sotto User-agent: * | il divieto di visitare tutto il sito | sì, tutto il sito è bloccato |
Disallow: /shop/ o Disallow: /product/ | un divieto per una sezione | sì, se quella sezione deve stare su Google |
Disallow: /*? | un divieto per gli indirizzi con parametri | dipende, a volte voluto per i filtri del negozio |
una riga Sitemap: con l'indirizzo della sitemap | un'indicazione di dove si trova la sitemap | no, aiuta |
| una pagina di errore o una pagina vuota | il file non c'è | no, Google considera di poter visitare tutto |
Google spiega a cosa serve questo file e cosa non può fare nella sua serie su robots.txt nel blog di Search Central. Il punto chiave: robots.txt regola le visite del robot, non se una pagina finisce nei risultati.
Se il file sembra a posto e il sito ancora non è su Google, la causa è altrove. L'elenco completo lo trovi nell'articolo sul perché un sito WordPress non compare su Google.
Da dove prende WordPress il robots.txt?
Da tre posti, ed è da qui che nasce quasi tutta la confusione. Ne modifichi uno e Google ne legge un altro. Accanto c'è un quarto posto che si confonde con robots.txt: la casella «Scoraggia i motori di ricerca dall'effettuare l'indicizzazione di questo sito» in Impostazioni > Lettura. Nelle versioni attuali di WordPress non aggiunge un blocco a robots.txt, aggiunge invece un tag noindex alle pagine, e l'effetto è simile: il sito esce da Google.
- La versione al volo di WordPress. Quando sul server non c'è un file vero, WordPress costruisce robots.txt a ogni visita. Il contenuto dipende dalle impostazioni, e i plugin possono aggiungerci regole.
- Le regole dei plugin. Un plugin SEO o un plugin del negozio può aggiungere le sue righe alla versione al volo, e alcuni plugin SEO tengono tutto il contenuto di robots.txt nelle loro impostazioni.
- Un file vero nella cartella principale. L'ha caricato uno sviluppatore, l'hosting o un plugin SEO. Quando esiste, il server serve quello al posto della versione di WordPress, e tutto ciò che imposti nella bacheca smette di contare.
I plugin SEO aggiungono i loro editor. Yoast SEO ha un editor di file nei suoi strumenti e crea un file vero sul server, come descrive il suo aiuto sul file robots.txt in Yoast SEO. Rank Math fa il contrario: tiene le regole nelle sue impostazioni e le serve al volo, ma solo quando sul server non c'è un file vero. Lo spiega nel suo articolo sulla modifica di robots.txt in Rank Math. Quando passi da un plugin all'altro, il vecchio file spesso resta e continua a vincere.
Come correggere robots.txt in WordPress passo per passo
Parti dal posto che più spesso è colpevole, e controlla i successivi solo quando il precedente è a posto.
- Impostazioni > Lettura. Verifica che la casella che scoraggia i motori di ricerca dall'indicizzazione non sia spuntata. La casella non cambia robots.txt, ma è il motivo più comune per cui tutto il sito sparisce da Google, quindi controllala per prima.
- Trova il file vero. Nel file manager dell'hosting o via FTP guarda nella cartella principale del sito, dove c'è la cartella wp-content. Se lì c'è robots.txt, a Google arriva quello, non la versione di WordPress. Se il file non c'è, il blocco lo aggiunge un plugin, quindi cercalo nell'editor robots.txt del tuo plugin SEO.
- Fai un backup. Scarica il file attuale sul computer prima di cambiare qualsiasi cosa. Se qualcosa va storto, lo ricarichi.
- Correggi o elimina il file. Togli la riga che blocca, oppure tutto il file se preferisci la versione di WordPress e del plugin SEO. In Yoast SEO puoi cambiare lo stesso file dall'editor del plugin.
- Svuota la cache. Un plugin di cache, l'hosting o una CDN possono servire ancora per un po' la versione vecchia. Apri l'indirizzo in una finestra privata.
- Avvisa Google. In Search Console, nelle impostazioni, c'è un report robots.txt. Chiedi lì un nuovo recupero del file, poi controlla la home page e una pagina prodotto.
Attenzione al riflesso «lo blocco così sparisce da Google». Un blocco in robots.txt fa sì che il robot non veda il noindex sulla pagina, quindi l'indirizzo può restare nei risultati. Come sciogliere questo nodo lo spiega l'articolo sulla pagina esclusa dal tag noindex.
Come la chat controlla robots.txt e lo corregge con un backup del file
Il plugin TellMyShop per WordPress e WooCommerce collega il tuo sito alla chat. Nella versione gratuita TellMyShop Free la chat controlla una pagina come la vede Google: il codice di risposta, il noindex nel plugin SEO e nell'opzione di Lettura, le intestazioni della pagina, le regole di robots.txt, la sitemap. In cima alla risposta indica la causa più probabile. Un'analisi di tutto il sito controlla anche se il sito chiede ai motori di ricerca di non indicizzarlo.
In TellMyShop Pro la chat legge anche i file del sito, quindi vede se sul server c'è un file robots.txt vero e cosa contiene. Fa la correzione dove sta la causa, e se può farla lo decidono gli interruttori nel pannello del plugin:
| Dove sta la causa | Chi può correggerla | Cosa serve a TellMyShop Pro |
|---|---|---|
| l'opzione in Impostazioni > Lettura | tu nella bacheca o la chat | l'interruttore Tema, che copre le impostazioni del sito (24 ore, richiede un backup del database di oggi) |
| un file vero nella cartella principale | tu via FTP o la chat | l'interruttore Manutenzione, accesso tecnico completo (3 ore), un backup del file prima della modifica |
| le regole nelle impostazioni del plugin SEO | tu nell'editor del plugin o la chat | l'interruttore Plugin, che copre le impostazioni dei plugin (24 ore) |
Tu: Search Console dice che robots.txt blocca il negozio. Controlla da dove arriva.
La tua chat: Ho controllato la home page e una pagina prodotto. L'opzione in Impostazioni > Lettura è a posto, non c'è noindex. Il blocco arriva da un file robots.txt vero nella cartella principale del sito, con una data precedente al trasloco dalla versione di prova. Propongo questa modifica:
Prima di salvare faccio un backup del file attuale. Il salvataggio richiede l'interruttore Manutenzione. Salvo? (sì / no)
Tu: Ho acceso Manutenzione. Sì.
La tua chat: Salvato. Ho controllato /robots.txt dal vivo, il nuovo contenuto si vede. Ora chiedi un nuovo recupero del file in Search Console.
Stato della scheda: in attesa del tuo «sì»versione precedente: User-agent: *
versione precedente: Disallow: /
nuova versione: User-agent: *
nuova versione: Disallow: /wp-admin/
nuova versione: Allow: /wp-admin/admin-ajax.php
nuova versione: Sitemap: https://yourstore.com/sitemap_index.xml
L'indirizzo della sitemap nell'esempio è indicativo, la chat inserisce quello che dà il tuo plugin SEO. Ogni modifica finisce nella cronologia delle modifiche, e il file si può ripristinare dal backup. Puoi annullare ogni modifica con una sola richiesta nella conversazione.
Cosa TellMyShop non fa: non clicca al posto tuo in Search Console e non può accelerare l'aggiornamento della copia del file da parte di Google. Non cambia nemmeno il file .htaccess, che a volte è un secondo posto per i blocchi. Quello resta compito dell'hosting o dello sviluppatore.
Inizia con la versione gratuita TellMyShop Free, che trova il blocco. Funziona con Claude o ChatGPT, anche con gli account gratuiti. I dettagli sul plugin sono nella pagina TellMyShop per WordPress e WooCommerce, i prezzi di Pro nella pagina prezzi. Se vuoi una checklist più ampia, leggi l'articolo sull'audit SEO di WordPress.
Domande e risposte
Dove si trova il file robots.txt in WordPress?
Il più delle volte da nessuna parte, perché WordPress lo crea al volo quando qualcuno apre tuodominio.it/robots.txt. Un file vero c'è nella cartella principale del sito solo se qualcuno l'ha caricato o se l'ha creato un plugin SEO. Se quel file esiste, vince sulla versione di WordPress.
Robots.txt toglie una pagina da Google?
No. Robots.txt dice ai robot cosa non visitare, ma un indirizzo bloccato può comparire comunque nei risultati, solo senza descrizione. Perché una pagina sparisca da Google serve il noindex, e il robot deve poterlo leggere, quindi non blocchi quell'indirizzo in robots.txt.
Cosa vuol dire Disallow: / in robots.txt?
Vieta ai robot di visitare tutto il sito. Su un sito pubblicato è quasi sempre un errore. In WordPress di solito compare dopo il trasloco del sito dalla versione di prova insieme al suo file, oppure dopo una regola aggiunta in un plugin SEO.
Dopo la correzione Google mostra ancora il blocco. Cosa faccio?
Google tiene per un po' una copia di robots.txt. In Search Console apri il report robots.txt nelle impostazioni e chiedi un nuovo recupero del file, poi controlla gli indirizzi più importanti con lo strumento di controllo URL. Verifica anche che l'hosting o la CDN non servano una vecchia versione in cache.
Il plugin TellMyShop cambia robots.txt da solo?
Nella versione gratuita TellMyShop Free la chat controlla se le regole di robots.txt bloccano il sito e ti dice da dove arrivano, ma non cambia nulla. In TellMyShop Pro corregge la causa dopo il tuo consenso: l'opzione di visibilità in Impostazioni, Lettura con l'interruttore Tema, oppure il file vero sul server con l'interruttore Manutenzione, sempre con un backup del file prima della modifica.
WordPress è un marchio della WordPress Foundation. WooCommerce è un marchio di Automattic Inc. Claude è un marchio di Anthropic PBC. ChatGPT e OpenAI sono marchi di OpenAI. TellMyShop non è affiliato a queste aziende.