Robots.txt WordPress : d’où il vient, ce qu’il bloque et comment le corriger
Le robots.txt WordPress est un court texte à l’adresse votredomaine.fr/robots.txt qui dit aux robots de Google ce qu’ils ne doivent pas visiter. En général, WordPress le crée à la volée. Quand il bloque le site, la cause est le plus souvent un vrai fichier resté sur le serveur après un transfert, ou une règle d’une extension SEO. Vérifiez aussi Réglages → Lecture.
Auteur: L’équipe TellMyShop. Un guide pour les propriétaires de sites WordPress et de boutiques WooCommerce : la cause, la correction manuelle et le même travail dans une conversation avec le chat.
Dernière mise à jour: · 7 min de lecture
Comment vérifier en une minute si robots.txt bloque votre site
Ouvrez dans un navigateur l’adresse de votre site suivie de /robots.txt et lisez ce qui s’affiche. Le fichier compte quelques lignes et se lit plus facilement qu’il n’y paraît.
| Ce que vous voyez dans le fichier | Ce que cela signifie | Est-ce un problème |
|---|---|---|
Disallow: /wp-admin/ et Allow: /wp-admin/admin-ajax.php | le fichier par défaut de WordPress, l’administration est fermée aux robots | non, c’est normal |
Disallow: / sous User-agent: * | une interdiction de visiter tout le site | oui, tout le site est bloqué |
Disallow: /shop/ ou Disallow: /product/ | une interdiction pour une section | oui, si cette section doit être dans Google |
Disallow: /*? | une interdiction pour les adresses avec paramètres | cela dépend, parfois voulu pour les filtres d’une boutique |
une ligne Sitemap: avec l’adresse du plan du site | une indication de l’emplacement du plan du site | non, cela aide |
| une page d’erreur ou une page vide | il n’y a pas de fichier | non, Google considère qu’il peut tout visiter |
Google explique à quoi sert ce fichier et ce qu’il ne peut pas faire dans sa série sur robots.txt du blog Search Central. Le point clé : robots.txt contrôle les visites d’un robot, pas la présence d’une page dans les résultats.
Si le fichier semble correct et que le site n’est toujours pas dans Google, la cause est ailleurs. Vous trouverez la liste complète dans l’article sur pourquoi un site WordPress n’apparaît pas dans Google.
D’où WordPress tire-t-il robots.txt ?
De trois endroits, et c’est la source de la plupart des confusions. Vous en modifiez un, et Google en lit un autre. À côté se trouve un quatrième endroit que l’on confond avec robots.txt : la case « Demander aux moteurs de recherche de ne pas indexer ce site » dans Réglages → Lecture. Dans les versions actuelles de WordPress, elle n’ajoute pas de blocage dans robots.txt, mais une balise noindex aux pages, et l’effet est semblable : le site sort de Google.
- La version à la volée de WordPress. Quand il n’y a pas de vrai fichier sur le serveur, WordPress construit robots.txt à chaque visite. Le contenu dépend des réglages, et les extensions peuvent y ajouter des règles.
- Les règles des extensions. Une extension SEO ou une extension de boutique peut ajouter ses propres lignes à la version à la volée, et certaines extensions SEO gardent tout le contenu de robots.txt dans leurs réglages.
- Un vrai fichier dans le dossier principal. Un développeur, l’hébergeur ou une extension SEO l’a déposé. Quand il existe, le serveur le sert à la place de la version de WordPress, et tout ce que vous réglez dans l’administration ne compte plus.
Les extensions SEO ajoutent leurs propres éditeurs. Yoast SEO a un éditeur de fichiers dans ses outils et crée un vrai fichier sur le serveur, comme le décrit son aide sur le fichier robots.txt dans Yoast SEO. Rank Math fonctionne à l’inverse : il garde les règles dans ses réglages et les sert à la volée, mais seulement quand il n’y a pas de vrai fichier sur le serveur. Il le décrit dans son article sur la modification de robots.txt dans Rank Math. Quand vous passez d’une extension à l’autre, l’ancien fichier reste souvent et continue de l’emporter.
Comment corriger robots.txt dans WordPress étape par étape
Commencez par l’endroit le plus souvent en cause, et ne vérifiez les suivants que si le précédent est correct.
- Réglages → Lecture. Vérifiez que la case qui demande aux moteurs de recherche de ne pas indexer le site est décochée. Cette case ne change pas robots.txt, mais c’est la raison la plus fréquente de la disparition de tout le site de Google, vérifiez-la donc en premier.
- Trouvez le vrai fichier. Dans le gestionnaire de fichiers de votre hébergeur ou par FTP, regardez dans le dossier principal du site, là où se trouve le dossier wp-content. Si robots.txt y est, c’est lui qui part vers Google, pas la version de WordPress. S’il n’y a pas de fichier, c’est une extension qui ajoute le blocage, cherchez-le donc dans l’éditeur robots.txt de votre extension SEO.
- Faites une sauvegarde. Téléchargez le fichier actuel sur votre ordinateur avant de changer quoi que ce soit. Si quelque chose tourne mal, vous le remettez en place.
- Corrigez ou supprimez le fichier. Retirez la ligne qui bloque, ou tout le fichier si vous préférez la version de WordPress et de l’extension SEO. Dans Yoast SEO, vous pouvez modifier le même fichier depuis l’éditeur de l’extension.
- Videz le cache. Une extension de cache, l’hébergeur ou un CDN peut continuer à servir l’ancienne version pendant un moment. Ouvrez l’adresse dans une fenêtre privée.
- Prévenez Google. Dans la Search Console, il y a un rapport robots.txt dans les paramètres. Demandez-y une nouvelle exploration du fichier, puis vérifiez la page d’accueil et une page produit.
Méfiez-vous du réflexe « je le bloque pour qu’il disparaisse de Google ». Un blocage dans robots.txt signifie que le robot ne verra pas le noindex sur la page, l’adresse peut donc rester dans les résultats. Comment démêler cela est expliqué dans l’article sur une page exclue par la balise noindex.
Comment le chat vérifie robots.txt et le corrige avec une sauvegarde du fichier
L’extension TellMyShop pour WordPress et WooCommerce relie votre site au chat. Dans la version gratuite TellMyShop Free, le chat vérifie une page donnée comme Google la voit : le code de réponse, le noindex de l’extension SEO et de l’option de lecture, les en-têtes de la page, les règles de robots.txt, le plan du site. En tête de réponse, il donne la cause la plus probable. Le bilan de tout le site vérifie aussi si le site demande aux moteurs de recherche de ne pas l’indexer.
Dans TellMyShop Pro, le chat lit aussi les fichiers du site, il voit donc s’il y a un vrai fichier robots.txt sur le serveur et ce qu’il contient. Il corrige là où se trouve la cause, et les interrupteurs du panneau de l’extension décident s’il peut le faire :
| Où se trouve la cause | Qui peut la corriger | Ce dont TellMyShop Pro a besoin |
|---|---|---|
| l’option de Réglages → Lecture | vous dans l’administration, ou le chat | l’interrupteur Thème, qui couvre les réglages du site (24 heures, exige une sauvegarde de la base de données du jour) |
| un vrai fichier dans le dossier principal | vous par FTP, ou le chat | l’interrupteur Maintenance, accès technique complet (3 heures), une sauvegarde du fichier avant la modification |
| des règles dans les réglages de l’extension SEO | vous dans l’éditeur de l’extension, ou le chat | l’interrupteur Extensions, qui couvre les réglages des extensions (24 heures) |
Vous: La Search Console dit que robots.txt bloque la boutique. Vérifie d’où ça vient.
Votre chat: J’ai vérifié la page d’accueil et une page produit. L’option de Réglages → Lecture est correcte, il n’y a pas de noindex. Le blocage vient d’un vrai fichier robots.txt dans le dossier principal du site, daté d’avant le transfert depuis la version de test. Je propose cette modification :
Avant d’enregistrer, je fais une sauvegarde du fichier actuel. L’enregistrement exige l’interrupteur Maintenance. J’enregistre ? (oui / non)
Vous: J’ai activé Maintenance. Oui.
Votre chat: Enregistré. J’ai vérifié /robots.txt en direct, le nouveau contenu est visible. Demandez maintenant une nouvelle exploration du fichier dans la Search Console.
Statut de la carte : attend votre « oui »ancienne version : User-agent: *
ancienne version : Disallow: /
nouvelle version : User-agent: *
nouvelle version : Disallow: /wp-admin/
nouvelle version : Allow: /wp-admin/admin-ajax.php
nouvelle version : Sitemap: https://votreboutique.fr/sitemap_index.xml
L’adresse du plan du site dans l’exemple est une illustration, le chat saisit celle que donne votre extension SEO. Chaque modification entre dans l’historique des modifications, et le fichier peut être restauré depuis la sauvegarde. Vous pouvez annuler chaque modification en une instruction dans la conversation.
Ce que TellMyShop ne fait pas : il ne clique pas dans la Search Console à votre place et ne peut pas accélérer le rafraîchissement de la copie du fichier par Google. Il ne modifie pas non plus le fichier .htaccess, qui est parfois un deuxième endroit de blocage. Cela reste l’affaire de votre hébergeur ou de votre développeur.
Commencez par la version gratuite TellMyShop Free, qui trouvera le blocage. Elle fonctionne avec Claude ou ChatGPT, y compris avec des comptes gratuits. Les détails de l’extension sont sur la page TellMyShop pour WordPress et WooCommerce, et les prix de Pro sur la page des tarifs. Pour une liste de contrôle plus large, lisez l’article sur l’audit SEO WordPress.
Questions et réponses
Où se trouve le fichier robots.txt dans WordPress ?
Le plus souvent nulle part, car WordPress le crée à la volée quand quelqu’un ouvre votredomaine.fr/robots.txt. Un vrai fichier n’est dans le dossier principal du site que si quelqu’un l’y a déposé ou si une extension SEO l’a créé. Si ce fichier existe, il l’emporte sur la version de WordPress.
Robots.txt retire-t-il une page de Google ?
Non. Robots.txt dit aux robots ce qu’ils ne doivent pas visiter, mais une adresse bloquée peut encore apparaître dans les résultats, simplement sans description. Pour qu’une page disparaisse de Google, il faut un noindex, et le robot doit pouvoir le lire, vous ne bloquez donc pas l’adresse dans robots.txt.
Que signifie Disallow: / dans robots.txt ?
Cela interdit aux robots de visiter tout le site. Sur un site en ligne, c’est presque toujours une erreur. Dans WordPress, cela apparaît en général après le transfert du site depuis une version de test avec son fichier, ou après l’ajout d’une règle dans une extension SEO.
Après la correction, Google affiche toujours le blocage. Que faire ?
Google garde une copie de robots.txt pendant un moment. Dans la Search Console, ouvrez le rapport robots.txt dans les paramètres et demandez une nouvelle exploration du fichier, puis vérifiez les adresses les plus importantes avec l’outil d’inspection d’URL. Vérifiez aussi que votre hébergeur ou votre CDN ne sert pas une ancienne version en cache.
L’extension TellMyShop modifiera-t-elle robots.txt toute seule ?
Dans la version gratuite TellMyShop Free, le chat vérifie si des règles de robots.txt bloquent le site et vous dit d’où elles viennent, mais ne change rien. Dans TellMyShop Pro, il corrige la cause après votre accord : l’option de visibilité des réglages de lecture avec l’interrupteur Thème, ou le vrai fichier sur le serveur avec l’interrupteur Maintenance, toujours avec une sauvegarde du fichier avant la modification.
WordPress est une marque de la WordPress Foundation. WooCommerce est une marque d’Automattic Inc. Claude est une marque d’Anthropic PBC. ChatGPT et OpenAI sont des marques d’OpenAI. TellMyShop n’est pas affilié à ces entreprises.