WordPress robots.txt: woher sie kommt, was sie blockiert und wie Sie sie korrigieren
Die WordPress robots.txt ist ein kurzer Text unter example.de/robots.txt, der den Robotern von Google sagt, was sie nicht besuchen sollen. Meist erzeugt WordPress ihn spontan. Blockiert er die Website, ist die Ursache meist eine echte Datei, die nach einem Umzug auf dem Server liegen blieb, oder eine Regel aus einem SEO-Plugin. Prüfen Sie dabei auch die Sichtbarkeitsoption unter Einstellungen → Lesen.
Autor: Das TellMyShop-Team. Ein Ratgeber für Betreiber von WordPress-Websites und WooCommerce-Shops: die Ursache, die Lösung von Hand und dieselbe Arbeit im Gespräch mit dem Chat.
Zuletzt aktualisiert: · 7 Min. Lesezeit
Wie Sie in einer Minute prüfen, ob robots.txt Ihre Website blockiert
Öffnen Sie im Browser die Adresse Ihrer Website mit angehängtem /robots.txt und lesen Sie, was dort steht. Die Datei hat ein paar Zeilen und ist leichter zu lesen, als sie aussieht.
| Was Sie in der Datei sehen | Was es bedeutet | Ist es ein Problem |
|---|---|---|
Disallow: /wp-admin/ und Allow: /wp-admin/admin-ajax.php | die Standarddatei von WordPress, das Backend ist für Roboter geschlossen | nein, so soll es sein |
Disallow: / unter User-agent: * | ein Verbot, die ganze Website zu besuchen | ja, die ganze Website ist gesperrt |
Disallow: /shop/ oder Disallow: /product/ | ein Verbot für einen Bereich | ja, wenn dieser Bereich in Google sein soll |
Disallow: /*? | ein Verbot für Adressen mit Parametern | kommt darauf an, bei Shopfiltern manchmal gewollt |
eine Zeile Sitemap: mit der Adresse der Sitemap | ein Hinweis, wo die Sitemap liegt | nein, sie hilft |
| eine Fehlerseite oder eine leere Seite | es gibt keine Datei | nein, Google geht davon aus, dass es alles besuchen darf |
Wofür diese Datei da ist und was sie nicht kann, erklärt Google in seiner Reihe über robots.txt im Blog von Search Central. Der Kernpunkt daraus: robots.txt steuert die Besuche eines Robots, nicht, ob eine Seite in den Ergebnissen landet.
Sieht die Datei gut aus und ist die Website trotzdem nicht in Google, liegt die Ursache woanders. Die vollständige Liste finden Sie im Beitrag, warum eine WordPress-Website nicht in Google erscheint.
Woher nimmt WordPress die robots.txt?
Aus drei Stellen, und daher kommt die meiste Verwirrung. Sie bearbeiten die eine, und Google liest eine andere. Daneben gibt es eine vierte Stelle, die man mit robots.txt verwechselt: das Kästchen „Suchmaschinen davon abhalten, diese Website zu indexieren“ unter Einstellungen → Lesen. In aktuellen WordPress-Versionen fügt es robots.txt keine Sperre hinzu, sondern setzt auf den Seiten ein noindex-Tag, und die Wirkung ist ähnlich: Die Website fällt aus Google.
- Die spontane Version von WordPress. Gibt es keine echte Datei auf dem Server, baut WordPress robots.txt bei jedem Aufruf. Der Inhalt hängt von den Einstellungen ab, und Plugins können Regeln hinzufügen.
- Regeln aus Plugins. Ein SEO-Plugin oder ein Shop-Plugin kann der spontanen Version eigene Zeilen hinzufügen, und manche SEO-Plugins halten den ganzen Inhalt von robots.txt in ihren Einstellungen.
- Eine echte Datei im Hauptordner. Ein Entwickler, der Hoster oder ein SEO-Plugin hat sie hochgeladen. Gibt es sie, liefert der Server sie anstelle der Version von WordPress aus, und alles, was Sie im Backend einstellen, spielt keine Rolle mehr.
SEO-Plugins bringen eigene Editoren mit. Yoast SEO hat in seinen Werkzeugen einen Datei-Editor und legt eine echte Datei auf dem Server an, wie seine Hilfe zur Datei robots.txt in Yoast SEO beschreibt. Rank Math macht es umgekehrt: Es hält die Regeln in seinen Einstellungen und liefert sie spontan aus, aber nur, wenn es keine echte Datei auf dem Server gibt. Das beschreibt es im Artikel über das Bearbeiten von robots.txt in Rank Math. Wechseln Sie von einem Plugin zum anderen, bleibt die alte Datei oft liegen und gewinnt weiter.
Wie Sie robots.txt in WordPress Schritt für Schritt korrigieren
Beginnen Sie mit der Stelle, die am häufigsten schuld ist, und prüfen Sie die nächsten nur, wenn die vorige in Ordnung ist.
- Einstellungen → Lesen. Achten Sie darauf, dass das Kästchen, Suchmaschinen vom Indexieren abzuhalten, nicht angehakt ist. Das Kästchen ändert robots.txt nicht, ist aber der häufigste Grund, warum die ganze Website aus Google verschwindet, prüfen Sie es also zuerst.
- Finden Sie die echte Datei. Sehen Sie im Dateimanager Ihres Hosters oder per FTP im Hauptordner der Website nach, dort, wo der Ordner wp-content liegt. Liegt dort robots.txt, geht diese Datei an Google, nicht die Version von WordPress. Gibt es keine Datei, fügt ein Plugin die Sperre hinzu, suchen Sie sie also im robots.txt-Editor Ihres SEO-Plugins.
- Machen Sie eine Sicherung. Laden Sie die aktuelle Datei auf Ihren Computer herunter, bevor Sie etwas ändern. Geht etwas schief, laden Sie sie wieder hoch.
- Korrigieren oder löschen Sie die Datei. Entfernen Sie die sperrende Zeile oder die ganze Datei, wenn Ihnen die Version von WordPress und dem SEO-Plugin lieber ist. In Yoast SEO können Sie dieselbe Datei im Editor des Plugins ändern.
- Leeren Sie den Cache. Ein Cache-Plugin, der Hoster oder ein CDN kann noch eine Weile die alte Version ausliefern. Öffnen Sie die Adresse in einem privaten Fenster.
- Sagen Sie es Google. In der Search Console gibt es in den Einstellungen einen Bericht zu robots.txt. Beantragen Sie dort einen neuen Abruf der Datei und prüfen Sie dann die Startseite und eine Produktseite.
Vorsicht vor dem Reflex „Ich sperre es, damit es aus Google verschwindet“. Eine Sperre in robots.txt heißt, dass der Robot das noindex auf der Seite nicht sieht, die Adresse kann also in den Ergebnissen bleiben. Wie Sie das entwirren, steht im Beitrag zur durch noindex ausgeschlossenen Seite.
Wie der Chat robots.txt prüft und mit Sicherung der Datei korrigiert
Das TellMyShop-Plugin für WordPress und WooCommerce verbindet Ihre Website mit dem Chat. Im kostenlosen TellMyShop Free prüft der Chat eine bestimmte Seite so, wie Google sie sieht: den Antwortcode, noindex im SEO-Plugin und in der Leseoption, die Header der Seite, die Regeln in robots.txt, die Sitemap. Oben in der Antwort nennt er die wahrscheinlichste Ursache. Eine Prüfung der ganzen Website prüft auch, ob die Website Suchmaschinen bittet, sie nicht zu indexieren.
In TellMyShop Pro liest der Chat auch die Dateien der Website und sieht also, ob auf dem Server eine echte robots.txt liegt und was darin steht. Er korrigiert dort, wo die Ursache liegt, und ob er das überhaupt darf, entscheiden die Schalter im Plugin-Panel:
| Wo die Ursache liegt | Wer sie korrigieren kann | Was TellMyShop Pro braucht |
|---|---|---|
| die Option unter Einstellungen → Lesen | Sie im Backend oder der Chat | den Schalter Theme, der die Website-Einstellungen umfasst (24 Stunden, verlangt eine Datenbanksicherung von heute) |
| eine echte Datei im Hauptordner | Sie per FTP oder der Chat | den Schalter Service, voller technischer Zugriff (3 Stunden), eine Sicherung der Datei vor der Änderung |
| Regeln in den Einstellungen des SEO-Plugins | Sie im Editor des Plugins oder der Chat | den Schalter Plugins, der die Plugin-Einstellungen umfasst (24 Stunden) |
Sie: Die Search Console sagt, robots.txt blockiert den Shop. Prüf, woher das kommt.
Ihr Chat: Ich habe die Startseite und eine Produktseite geprüft. Die Option unter Einstellungen → Lesen ist in Ordnung, es gibt kein noindex. Die Sperre kommt aus einer echten Datei robots.txt im Hauptordner der Website, datiert vor dem Umzug aus der Testversion. Ich schlage diese Änderung vor:
Vor dem Speichern mache ich eine Sicherung der aktuellen Datei. Zum Speichern braucht es den Schalter Service. Speichern? (ja / nein)
Sie: Ich habe Service eingeschaltet. Ja.
Ihr Chat: Gespeichert. Ich habe /robots.txt live geprüft, der neue Inhalt ist sichtbar. Beantragen Sie jetzt in der Search Console einen neuen Abruf der Datei.
Status der Karte: wartet auf Ihr „Ja“alte Version: User-agent: *
alte Version: Disallow: /
neue Version: User-agent: *
neue Version: Disallow: /wp-admin/
neue Version: Allow: /wp-admin/admin-ajax.php
neue Version: Sitemap: https://example.de/sitemap_index.xml
Die Adresse der Sitemap im Beispiel dient der Veranschaulichung, der Chat trägt die ein, die Ihr SEO-Plugin angibt. Jede Änderung landet im Änderungsverlauf, und die Datei lässt sich aus der Sicherung wiederherstellen. Rückgängig machen können Sie jede Änderung mit einer Anweisung im Gespräch.
Was TellMyShop nicht macht: Es klickt nicht für Sie in der Search Console und kann nicht beschleunigen, wie schnell Google seine Kopie der Datei auffrischt. Es ändert auch die Datei .htaccess nicht, die manchmal eine zweite Stelle für Sperren ist. Das bleibt bei Ihrem Hoster oder Entwickler.
Beginnen Sie mit dem kostenlosen TellMyShop Free, das die Sperre findet. Es funktioniert mit Claude oder ChatGPT, auch mit kostenlosen Konten. Details zum Plugin stehen auf der Seite TellMyShop für WordPress und WooCommerce, die Preise für Pro auf der Seite Preise. Wenn Sie eine breitere Checkliste wollen, lesen Sie den Beitrag zum WordPress SEO Audit.
Fragen und Antworten
Wo ist die Datei robots.txt in WordPress?
Meist nirgends, weil WordPress sie spontan erzeugt, wenn jemand example.de/robots.txt öffnet. Eine echte Datei liegt nur dann im Hauptordner der Website, wenn jemand sie dort hochgeladen oder ein SEO-Plugin sie angelegt hat. Gibt es eine solche Datei, gewinnt sie gegen die Version von WordPress.
Entfernt robots.txt eine Seite aus Google?
Nein. Robots.txt sagt Robotern, was sie nicht besuchen sollen, aber eine gesperrte Adresse kann trotzdem in den Ergebnissen erscheinen, nur ohne Beschreibung. Damit eine Seite aus Google verschwindet, brauchen Sie noindex, und der Robot muss es lesen können, also sperren Sie die Adresse nicht in robots.txt.
Was bedeutet Disallow: / in robots.txt?
Es verbietet Robotern, die ganze Website zu besuchen. Auf einer Live-Website ist das fast immer ein Fehler. In WordPress taucht es meist auf, nachdem die Website mitsamt ihrer Datei aus einer Testversion umgezogen ist oder nachdem in einem SEO-Plugin eine Regel hinzugefügt wurde.
Nach der Korrektur zeigt Google weiter die Sperre. Was tun?
Google hält eine Kopie von robots.txt eine Weile vor. Öffnen Sie in der Search Console in den Einstellungen den Bericht zu robots.txt und beantragen Sie einen neuen Abruf der Datei, dann prüfen Sie die wichtigsten Adressen mit der URL-Prüfung. Prüfen Sie auch, ob Ihr Hoster oder CDN keine alte Version aus dem Cache ausliefert.
Ändert das TellMyShop-Plugin robots.txt von selbst?
Im kostenlosen TellMyShop Free prüft der Chat, ob Regeln in robots.txt die Website blockieren, und sagt Ihnen, woher sie kommen, ändert aber nichts. In TellMyShop Pro behebt er die Ursache nach Ihrer Zustimmung: die Sichtbarkeitsoption in den Leseeinstellungen mit dem Schalter Theme oder die echte Datei auf dem Server mit dem Schalter Service, immer mit einer Sicherung der Datei vor der Änderung.
WordPress ist eine Marke der WordPress Foundation. WooCommerce ist eine Marke der Automattic Inc. Claude ist eine Marke der Anthropic PBC. ChatGPT und OpenAI sind Marken von OpenAI. TellMyShop ist mit diesen Unternehmen nicht verbunden.