PrestaShop robots.txt blockiert Google: schnell prüfen und beheben
Wenn die PrestaShop robots.txt Google blockiert, ist meist eine Zeile `Disallow: /` schuld, die von einer Testkopie übrig geblieben ist, oder eine Regel, die Kategorien oder Bilder erfasst. Öffnen Sie example.de/robots.txt, suchen Sie die Zeilen, die mit Disallow beginnen, und vergleichen Sie sie mit den Adressen Ihrer Produkte. Eine korrigierte Datei liest Google meist innerhalb eines Tages.
Autor: Das TellMyShop-Team. Ein Ratgeber für Betreiber von PrestaShop-Shops: die Ursache, die Lösung von Hand und dieselbe Arbeit im Gespräch mit dem Chat.
Zuletzt aktualisiert: · 6 Min. Lesezeit
So prüfen Sie in wenigen Minuten, ob die robots.txt den Shop blockiert
Am schnellsten geht es im Browser und in der Search Console. Zugang zum Server brauchen Sie dafür nicht.
- Öffnen Sie example.de/robots.txt im Browser. Sie sehen reinen Text mit Regeln.
- Suchen Sie eine Zeile
Disallow: /ohne etwas dahinter. Diese eine Zeile schließt den ganzen Shop für Roboter. - Prüfen Sie, dass keine Regel mit den Namen Ihrer Kategorien, dem Bilderordner (
/img/) oder den Theme-Dateien (/themes/) beginnt. Google braucht CSS und Skripte, um die Seite so zu sehen wie ein Kunde. - Öffnen Sie in der Search Console den robots.txt-Bericht. Er zeigt, wann die Datei zuletzt gelesen wurde, und mögliche Fehler. Der Bericht ist in der Search-Console-Hilfe beschrieben.
- Fügen Sie die Adresse eines Produkts in das URL-Prüftool der Search Console ein. Sehen Sie einen Hinweis auf eine Blockierung durch robots.txt, haben Sie die Bestätigung.
Wenn die Datei in Ordnung aussieht und die Produkte trotzdem nicht in Google sind, liegt die Ursache woanders. Lesen Sie dazu den Beitrag zum Status „Gecrawlt – zurzeit nicht indexiert“.
Woher kommt eine fehlerhafte robots.txt im Shop?
Eine fehlerhafte Datei entsteht selten von selbst. Meist bleibt sie nach Arbeiten am Shop zurück, deren Ergebnis danach niemand geprüft hat.
| Was passiert ist | Wie es in der Datei aussieht | Was zu tun ist |
|---|---|---|
| Der Shop wurde von einer Testkopie übertragen | Disallow: / ganz oben | diese Zeile entfernen oder die Datei neu generieren |
| Jemand hat Bilder oder das Theme blockiert | Disallow: /img/, Disallow: /themes/ | entfernen, Google muss sehen, wie die Seite aussieht |
| Eine Regel erfasst zu viel | Disallow: /*category statt eines bestimmten Parameters | die Regel auf den Filter- oder Sortierparameter eingrenzen |
| Ein SEO-Modul schreibt seine eigene Datei | Regeln, die Sie nicht ergänzt haben | die Einstellungen des Moduls prüfen, das die robots.txt verwaltet |
| Die Datei wurde neu generiert | keine Sitemap-Zeile | eine Zeile Sitemap: ergänzen |
| Neue Sprache oder neuer Shop im Multistore | Regeln nur für einen Sprachordner | die Datei nach dem Hinzufügen der Sprache neu generieren |
In seiner Beschreibung, wie Google die robots.txt liest, erinnert Google daran, dass die Datei die Besuche der Roboter steuert, nicht, was in die Ergebnisse kommt. Eine Seite in der robots.txt zu blockieren ist also kein Weg, sie in Google zu verstecken.
So beheben Sie die robots.txt in PrestaShop
Sie haben zwei Wege: die Datei im Back-Office generieren oder sie von Hand korrigieren. Welcher passt, hängt davon ab, ob die Datei eigene Regeln enthält.
Generieren im Back-Office. PrestaShop erstellt die robots.txt in den Einstellungen für Traffic und SEO, unter Shop-Einstellungen → Traffic & SEO. Unten auf der Seite mit den SEO- und URL-Einstellungen gibt es einen Button zum Generieren der Datei. Die Seite ist in der PrestaShop-Dokumentation zu SEO und URLs beschrieben. Die generierte Datei sperrt technische Ordner und Seiten wie Warenkorb und Kundenkonto und lässt Produkte und Kategorien offen.
Denken Sie an eines: Der Button überschreibt die ganze Datei. Standen darin Ihre Sitemap-Adresse oder eigene Regeln für Filter, kopieren Sie diese vor dem Generieren und fügen Sie sie danach wieder ein.
Korrektur von Hand. Wenn die Datei Regeln enthält, die Sie behalten wollen, korrigieren Sie nur die fehlerhafte Zeile. Sie bearbeiten die Datei per FTP oder im Dateimanager Ihres Hosters. Machen Sie vor der Änderung eine Sicherung, denn ein Tippfehler in einer Regel kann den ganzen Shop schließen.
Ein Beispiel für eine Datei, die Roboter zu Produkten und Kategorien lässt, aber Warenkorb und Suche sperrt:
User-agent: *
Disallow: /*controller=cart
Disallow: /*controller=order
Disallow: /*controller=search
Disallow: /*?order=
Allow: /themes/
Allow: /img/
Sitemap: https://example.de/1_index_sitemap.xmlDas ist ein Beispiel, keine Vorlage zum Kopieren. Ihre generierte Datei ist länger und auf Ihre Shop-Version abgestimmt. Wenn Sie Filteradressen einschränken wollen, lesen Sie zuerst den Beitrag zu Produktfiltern und SEO. Eine praktische Liste, was meist blockiert wird und was nicht, steht auch im MyPresta-Leitfaden zur robots.txt in PrestaShop (auf Englisch).
Was Sie nach der Korrektur der Datei tun
Bitten Sie Google nach der Korrektur, die Datei neu zu lesen, und prüfen Sie ein paar Seiten. Das Speichern der Datei allein bringt den Shop nicht sofort zurück in die Ergebnisse.
- Fordern Sie im robots.txt-Bericht der Search Console ein erneutes Abrufen der Datei an.
- Prüfen Sie Startseite, eine Kategorie und ein Produkt im URL-Prüftool.
- Achten Sie darauf, dass die Datei eine Sitemap-Zeile hat. Wie Sie die Sitemap einschalten und einreichen, steht im Beitrag zur PrestaShop Sitemap.
- Beobachten Sie in den folgenden Wochen den Seitenbericht in der Search Console. Die Adressen kommen nach und nach zurück.
War der Shop lange blockiert, hat Google eventuell einige Seiten aus den Ergebnissen genommen. Sie kommen zurück, sobald die Roboter sie besuchen und für zeigenswert halten. Beschleunigen kann das niemand an Googles Stelle, aber eine ordentliche Sitemap und interne Links helfen.
Wie der Chat die robots.txt mit Sicherung der Datei prüft und korrigiert
Mit dem TellMyShop-Modul beschreiben Sie das Problem in einem Satz. Ihr Chat (Claude oder ChatGPT) liest die Datei, vergleicht die Regeln mit den Adressen von Produkten, Kategorien und Bildern und prüft dann ein paar Seiten so, wie Google sie sieht.
Sie: Seit dem Umzug des Shops ist der Traffic aus Google gesunken. Prüf, ob die robots.txt etwas blockiert.
Ihr Chat: Die Datei hat ganz oben eine Regel, die den ganzen Shop schließt. Das ist ein typischer Rest einer Testkopie. Außerdem fehlt die Sitemap-Zeile. Ich schlage diese Änderung vor:
Ihr Chat: Für die Änderung der Datei brauche ich den Schalter Service. Vor dem Speichern sichere ich die aktuelle Datei. Nach dem Speichern prüfe ich, dass Startseite, die Kategorie Lampen und das Produkt Laterne Nora freigegeben sind.
Sie: Ich habe Service eingeschaltet. Speicher es.
Ihr Chat: Gespeichert. Eine Kopie der alten Datei liegt in den Dateisicherungen. Alle drei Seiten sind jetzt für Google freigegeben. Fordern Sie in der Search Console ein erneutes Abrufen der robots.txt an.
Status der Karte: wartet auf Ihr „Ja“alte Version: Disallow: /
neue Version: Disallow: /*controller=cart
neue Version: Disallow: /*controller=order
neue Version: Sitemap: https://example.de/1_index_sitemap.xml
Die Kategorie- und Produktnamen im Beispiel sind frei gewählt.
Im kostenlosen TellMyShop Free öffnet der Chat die Seiten des Shops so, wie Google sie sieht, liest den SEO-Bericht und sagt Ihnen, was nicht stimmt. Er ändert nichts. TellMyShop Pro liest den ganzen Shop einschließlich der Dateien, liest die robots.txt also selbst und bereitet eine Korrektur in einer Vorschau vor. Zum Speichern der Datei brauchen Sie den Schalter Service, den Sie im Modul-Panel für 3 Stunden einschalten. Der Schalter lässt sich einschalten, wenn es eine Datenbanksicherung von heute gibt. Vor jedem Speichern einer Datei legt das Modul eine Kopie an, sodass Sie die vorherige Version aus dem Gespräch heraus wiederherstellen können. Eine Beispielanfrage finden Sie im Anwendungsfall Datei korrigieren, die Google blockiert.
TellMyShop hat keinen Zugang zu Ihrem Google-Konto. Den robots.txt-Bericht und die Anfrage zum erneuten Abrufen erledigen Sie selbst in der Search Console. Eine umfassendere Prüfung des Shops für Google finden Sie im Anwendungsfall vollständiges SEO-Audit des Shops und im Beitrag zum SEO Audit in PrestaShop. Die Preise für Pro stehen auf der Seite Preise.
Fragen und Antworten
Wo liegt die robots.txt in PrestaShop?
Im Hauptordner des Shops, neben der Datei index.php. Im Browser öffnen Sie sie unter example.de/robots.txt. Gibt es keine Datei, geht Google davon aus, dass es den ganzen Shop besuchen darf.
Überschreibt der Button zum Generieren der robots.txt im Back-Office meine Änderungen?
Ja. PrestaShop erstellt die Datei neu und entfernt alles, was von Hand ergänzt wurde. Kopieren Sie vor dem Klick Ihre eigenen Zeilen, zum Beispiel die Adresse der Sitemap, und fügen Sie sie nach dem Generieren wieder ein.
Entfernt die robots.txt Seiten aus Google?
Nein. Die Datei sagt Robotern, wohin sie nicht gehen sollen, aber die Adresse einer blockierten Seite kann trotzdem in den Ergebnissen erscheinen, wenn Links auf sie zeigen. Zum Entfernen aus den Ergebnissen nutzen Sie das noindex-Tag, und eine Seite mit diesem Tag darf in der robots.txt nicht blockiert sein.
Wie schnell kommt Google nach der Korrektur in den Shop zurück?
Google liest die robots.txt meist innerhalb eines Tages neu. Das erneute Besuchen und Bewerten der Produktseiten dauert länger und hängt von der Größe des Shops ab. In der Search Console können Sie ein erneutes Abrufen der Datei anfordern.
Korrigiert TellMyShop Free die robots.txt?
Nein. Das kostenlose TellMyShop Free speichert nichts. Es zeigt, wie Google die Seiten des Shops sieht, und benennt das Problem. Die Korrektur der Datei mit Sicherung macht TellMyShop Pro, sobald der Schalter Service an ist.
PrestaShop ist eine eingetragene Marke der PrestaShop SA. Claude ist eine Marke der Anthropic PBC. ChatGPT und OpenAI sind Marken von OpenAI. TellMyShop ist mit diesen Unternehmen nicht verbunden.