WordPress robots.txt: waar het vandaan komt, wat het blokkeert en hoe je het oplost
WordPress robots.txt is een korte tekst op jouwdomein.nl/robots.txt die de robots van Google zegt wat ze niet moeten bezoeken. Meestal maakt WordPress hem ter plekke aan. Blokkeert hij de site, dan is de oorzaak meestal een echt bestand dat na een verhuizing op de server is blijven staan, of een regel uit een SEO-plugin. Controleer meteen ook de optie voor zichtbaarheid in Instellingen > Lezen.
Auteur: Het TellMyShop-team. Een gids voor eigenaren van WordPress-websites en WooCommerce-winkels: de oorzaak, de oplossing met de hand en hetzelfde werk in een gesprek met de chat.
Laatst bijgewerkt: · 7 min lezen
Zo zie je in een minuut of robots.txt je site blokkeert
Open in een browser het adres van je site met /robots.txt erachter en lees wat er staat. Het bestand heeft een paar regels en is makkelijker te lezen dan het lijkt.
| Wat je in het bestand ziet | Wat het betekent | Is het een probleem |
|---|---|---|
Disallow: /wp-admin/ en Allow: /wp-admin/admin-ajax.php | het standaardbestand van WordPress, het beheer is dicht voor robots | nee, zo hoort het |
Disallow: / onder User-agent: * | een verbod op het bezoeken van de hele site | ja, de hele site is geblokkeerd |
Disallow: /shop/ of Disallow: /product/ | een verbod voor één onderdeel | ja, als dat onderdeel in Google hoort |
Disallow: /*? | een verbod voor adressen met parameters | dat hangt ervan af, soms bewust voor filters in de webshop |
een regel Sitemap: met het adres van de sitemap | een verwijzing naar waar de sitemap staat | nee, het helpt |
| een foutpagina of een lege pagina | er is geen bestand | nee, Google gaat ervan uit dat het alles mag bezoeken |
Google legt uit waar dit bestand voor dient en wat het niet kan in zijn reeks over robots.txt op de Search Central-blog. Het belangrijkste daaruit: robots.txt regelt de bezoeken van een robot, niet of een pagina in de resultaten komt.
Ziet het bestand er goed uit en staat de site nog steeds niet in Google, dan ligt de oorzaak ergens anders. De volledige lijst vind je in het stuk over waarom een WordPress-site niet in Google staat.
Waar haalt WordPress robots.txt vandaan?
Uit drie plekken, en daar komt de meeste verwarring vandaan. Je bewerkt de ene, en Google leest de andere. Daarnaast is er een vierde plek die mensen met robots.txt verwarren: het vakje “Zoekmachines ontmoedigen deze site te indexeren” in Instellingen > Lezen. In de huidige versies van WordPress voegt het geen blokkade aan robots.txt toe, maar een noindex-tag aan de pagina’s, en het effect is vergelijkbaar: de site verdwijnt uit Google.
- De versie die WordPress ter plekke maakt. Staat er geen echt bestand op de server, dan bouwt WordPress robots.txt bij elk bezoek op. De inhoud hangt af van de instellingen, en plugins kunnen er regels aan toevoegen.
- Regels uit plugins. Een SEO-plugin of een webshopplugin kan eigen regels aan de versie van WordPress toevoegen, en sommige SEO-plugins bewaren de hele inhoud van robots.txt in hun instellingen.
- Een echt bestand in de hoofdmap. Een ontwikkelaar, de hostingpartij of een SEO-plugin heeft het geüpload. Bestaat het, dan serveert de server het in plaats van de versie van WordPress, en doet alles wat je in het beheer instelt er niet meer toe.
SEO-plugins voegen eigen editors toe. Yoast SEO heeft een bestandseditor in zijn hulpmiddelen en maakt een echt bestand op de server aan, zoals de hulp over het bestand robots.txt in Yoast SEO beschrijft. Rank Math werkt andersom: het bewaart de regels in zijn instellingen en serveert ze ter plekke, maar alleen als er geen echt bestand op de server staat. Dat staat in zijn artikel over robots.txt bewerken in Rank Math. Stap je van de ene plugin over op de andere, dan blijft het oude bestand vaak staan en blijft het winnen.
Zo los je robots.txt in WordPress stap voor stap op
Begin bij de plek die het vaakst de schuldige is, en controleer de volgende pas als de vorige in orde is.
- Instellingen > Lezen. Zorg dat het vakje over zoekmachines ontmoedigen niet is aangevinkt. Het vakje wijzigt robots.txt niet, maar het is de meest voorkomende reden dat de hele site uit Google verdwijnt, dus controleer het eerst.
- Zoek het echte bestand. Kijk in de bestandsbeheerder van je hostingpartij of via FTP in de hoofdmap van de site, waar de map wp-content staat. Staat robots.txt daar, dan gaat dat naar Google, niet de versie van WordPress. Is er geen bestand, dan voegt een plugin de blokkade toe, dus zoek die in de robots.txt-editor van je SEO-plugin.
- Maak een back-up. Download het huidige bestand naar je computer voordat je iets wijzigt. Gaat er iets mis, dan upload je het terug.
- Herstel of verwijder het bestand. Haal de blokkerende regel weg, of het hele bestand als je liever de versie van WordPress en de SEO-plugin gebruikt. In Yoast SEO wijzig je hetzelfde bestand vanuit de editor van de plugin.
- Leeg de cache. Een cacheplugin, de hostingpartij of een CDN kan nog een tijdje de oude versie serveren. Open het adres in een privévenster.
- Laat het Google weten. In Search Console staat in de instellingen een rapport robots.txt. Vraag daar een nieuwe ophaling van het bestand aan en controleer daarna de homepage en één productpagina.
Pas op voor de reflex “ik blokkeer het, dan verdwijnt het uit Google”. Een blokkade in robots.txt betekent dat de robot de noindex op de pagina niet ziet, dus het adres kan in de resultaten blijven staan. Hoe je dat ontwart, lees je in het stuk over een pagina uitgesloten door de noindex-tag.
Zo controleert de chat robots.txt en herstelt hij het met een back-up van het bestand
De TellMyShop-plugin voor WordPress en WooCommerce koppelt je site aan de chat. In het gratis TellMyShop Free controleert de chat een pagina zoals Google haar ziet: de responscode, noindex in de SEO-plugin en in de optie bij Lezen, de headers van de pagina, regels in robots.txt en de sitemap. Bovenaan het antwoord noemt hij de waarschijnlijkste oorzaak. Een check van de hele site kijkt ook of de site zoekmachines vraagt haar niet te indexeren.
In TellMyShop Pro leest de chat ook de bestanden van de site, dus hij ziet of er een echt robots.txt-bestand op de server staat en wat erin staat. Hij herstelt het waar de oorzaak zit, en of hij dat überhaupt mag, bepalen de schakelaars in het pluginpaneel:
| Waar de oorzaak zit | Wie het kan oplossen | Wat TellMyShop Pro nodig heeft |
|---|---|---|
| de optie in Instellingen > Lezen | jij in het beheer of de chat | de schakelaar Thema, die de instellingen van de site omvat (24 uur, vraagt een databaseback-up van vandaag) |
| een echt bestand in de hoofdmap | jij via FTP of de chat | de schakelaar Onderhoud, volledige technische toegang (3 uur), een back-up van het bestand vóór de wijziging |
| regels in de instellingen van de SEO-plugin | jij in de editor van de plugin of de chat | de schakelaar Plugins, die de instellingen van plugins omvat (24 uur) |
Jij: Search Console zegt dat robots.txt de webshop blokkeert. Kijk waar het vandaan komt.
Je chat: Ik heb de homepage en één productpagina gecontroleerd. De optie in Instellingen > Lezen is in orde, er is geen noindex. De blokkade komt van een echt robots.txt-bestand in de hoofdmap van de site, van vóór de verhuizing vanaf de testversie. Ik stel deze wijziging voor:
Voor het opslaan maak ik een back-up van het huidige bestand. Opslaan vraagt de schakelaar Onderhoud. Opslaan? (ja / nee)
Jij: Ik heb Onderhoud aangezet. Ja.
Je chat: Opgeslagen. Ik heb /robots.txt live gecontroleerd, de nieuwe inhoud is zichtbaar. Vraag nu in Search Console een nieuwe ophaling van het bestand aan.
Status van de kaart: wacht op jouw “ja”oude versie: User-agent: *
oude versie: Disallow: /
nieuwe versie: User-agent: *
nieuwe versie: Disallow: /wp-admin/
nieuwe versie: Allow: /wp-admin/admin-ajax.php
nieuwe versie: Sitemap: https://jouwwebshop.nl/sitemap_index.xml
Het adres van de sitemap in het voorbeeld is ter illustratie, de chat vult het adres in dat je SEO-plugin geeft. Elke wijziging komt in de wijzigingsgeschiedenis, en het bestand kun je terugzetten vanuit de back-up. Elke wijziging kun je ongedaan maken met één verzoek in het gesprek.
Wat TellMyShop niet doet: hij klikt niet voor je in Search Console en kan niet versnellen hoe snel Google zijn kopie van het bestand ververst. Hij wijzigt ook het bestand .htaccess niet, dat soms een tweede plek voor blokkades is. Dat blijft bij je hostingpartij of ontwikkelaar.
Begin met het gratis TellMyShop Free, dat de blokkade vindt. Werkt met Claude of ChatGPT, ook met een gratis account. Details over de plugin staan op de pagina TellMyShop voor WordPress en WooCommerce, en de prijzen van Pro op de pagina prijzen. Wil je een bredere checklist, lees dan het stuk over een SEO-audit van WordPress.
Vragen en antwoorden
Waar staat het bestand robots.txt in WordPress?
Meestal nergens, want WordPress maakt het ter plekke aan als iemand jouwdomein.nl/robots.txt opent. Een echt bestand staat alleen in de hoofdmap van de site als iemand het daar heeft geüpload of een SEO-plugin het heeft aangemaakt. Bestaat zo’n bestand, dan wint het van de versie van WordPress.
Haalt robots.txt een pagina uit Google?
Nee. Robots.txt zegt robots wat ze niet moeten bezoeken, maar een geblokkeerd adres kan nog steeds in de resultaten staan, alleen zonder beschrijving. Wil je een pagina uit Google halen, dan heb je noindex nodig, en de robot moet die kunnen lezen. Blokkeer het adres dus niet in robots.txt.
Wat betekent Disallow: / in robots.txt?
Het verbiedt robots de hele site te bezoeken. Op een live site is dat bijna altijd een fout. In WordPress verschijnt het meestal nadat de site met bestand en al van een testversie is verhuisd, of nadat iemand een regel in een SEO-plugin heeft toegevoegd.
Na de oplossing toont Google nog steeds de blokkade. Wat doe ik?
Google bewaart een kopie van robots.txt een tijdje. Open in Search Console het rapport robots.txt in de instellingen en vraag een nieuwe ophaling van het bestand aan. Controleer daarna de belangrijkste adressen met de URL-inspectie. Kijk ook of je hostingpartij of CDN geen oude versie uit de cache serveert.
Wijzigt de TellMyShop-plugin robots.txt zelf?
In het gratis TellMyShop Free controleert de chat of regels in robots.txt de site blokkeren en zegt hij waar ze vandaan komen, maar hij wijzigt niets. In TellMyShop Pro lost hij de oorzaak op na jouw akkoord: de optie voor zichtbaarheid in de instellingen bij Lezen met de schakelaar Thema, of het echte bestand op de server met de schakelaar Onderhoud, altijd met een back-up van het bestand vóór de wijziging.
WordPress is een handelsmerk van de WordPress Foundation. WooCommerce is een handelsmerk van Automattic Inc. Claude is een handelsmerk van Anthropic PBC. ChatGPT en OpenAI zijn handelsmerken van OpenAI. TellMyShop is niet gelieerd aan deze bedrijven.