robots.txt WordPress: skąd się bierze, co blokuje i jak go naprawić

Jak w minutę sprawdzić, czy robots.txt blokuje twoją stronę?

Otwórz w przeglądarce adres twojej strony z dopiskiem /robots.txt i przeczytaj, co tam jest. Plik ma kilka linii i czyta się go łatwiej, niż wygląda.

Google wyjaśnia, do czego służy ten plik i czego nie potrafi, w serii o robots.txt na blogu Search Central. Najważniejsze zdanie stamtąd: robots.txt steruje odwiedzinami robota, a nie tym, czy strona znajdzie się w wynikach.

Jeśli plik wygląda dobrze, a strony nadal nie ma w Google, przyczyna leży gdzie indziej. Pełną listę znajdziesz we wpisie o tym, czemu strona WordPress nie wyświetla się w Google.

Skąd WordPress bierze robots.txt?

Z trzech miejsc, i to jest źródło większości nieporozumień. Edytujesz jedno, a Google czyta drugie. Obok jest czwarte miejsce, które ludzie mylą z robots.txt: pole „Proś wyszukiwarki o nieindeksowanie tej witryny” w Ustawieniach, Czytanie. W obecnych wersjach WordPressa nie dopisuje ono blokady do robots.txt, tylko dodaje do stron znacznik noindex, a skutek jest podobny: strona wypada z Google.

1. Wersja w locie z WordPressa. Gdy na serwerze nie ma prawdziwego pliku, WordPress składa robots.txt przy każdym wejściu. Treść zależy od ustawień, a wtyczki mogą do niej dopisywać reguły.
2. Reguły od wtyczek. Wtyczka SEO albo wtyczka sklepu może dopisać do wersji w locie własne linie, a niektóre wtyczki SEO trzymają całą treść robots.txt w swoich ustawieniach.
3. Prawdziwy plik w głównym folderze. Wgrał go developer, hosting albo wtyczka SEO. Gdy istnieje, serwer podaje go zamiast wersji WordPressa i wszystko, co ustawiasz w panelu, przestaje mieć znaczenie.

Wtyczki SEO dodają własne edytory. Yoast SEO ma edytor plików w swoich narzędziach i tworzy prawdziwy plik na serwerze, co opisuje w pomocy o pliku robots.txt w Yoast SEO. Rank Math działa odwrotnie: trzyma reguły w swoich ustawieniach i podaje je w locie, ale tylko wtedy, gdy na serwerze nie ma prawdziwego pliku. Opisuje to w artykule o edycji robots.txt w Rank Math. Gdy po zmianie przeniesiesz się z jednej wtyczki na drugą, stary plik często zostaje i dalej wygrywa.

Jak naprawić robots.txt w WordPress krok po kroku?

Zacznij od miejsca, które najczęściej jest winne, i sprawdzaj kolejne dopiero wtedy, gdy poprzednie jest w porządku.

1. Ustawienia, Czytanie. Upewnij się, że pole o proszeniu wyszukiwarek o nieindeksowanie jest odznaczone. Pole nie zmienia robots.txt, ale to najczęstszy powód, dla którego cała strona znika z Google, więc sprawdź je najpierw.
2. Znajdź prawdziwy plik. W menedżerze plików hostingu albo przez FTP zajrzyj do głównego folderu strony, tam gdzie jest folder wp-content. Jeśli leży tam robots.txt, to on trafia do Google, a nie wersja WordPressa. Jeśli pliku nie ma, blokadę dopisuje wtyczka, więc szukaj jej w edytorze robots.txt wtyczki SEO.
3. Zrób kopię. Pobierz obecny plik na komputer, zanim cokolwiek zmienisz. Gdy coś pójdzie nie tak, wgrasz go z powrotem.
4. Popraw albo usuń plik. Usuń linię blokującą albo cały plik, jeśli wolisz wersję WordPressa i wtyczki SEO. W Yoast SEO możesz zmienić ten sam plik z edytora wtyczki.
5. Wyczyść pamięć podręczną. Wtyczka cache, hosting albo CDN potrafi jeszcze przez jakiś czas podawać starą wersję. Otwórz adres w oknie prywatnym.
6. Powiadom Google. W Search Console w ustawieniach jest raport robots.txt. Poproś tam o ponowne pobranie pliku, a potem sprawdź stronę główną i jedną stronę produktu.

Uwaga na odruch „zablokuję, żeby zniknęło z Google”. Blokada w robots.txt sprawia, że robot nie zobaczy noindexu na stronie, więc adres może zostać w wynikach. Jak to rozplątać, opisuje wpis o stronie wykluczonej przez tag noindex.

Jak Claude sprawdzi robots.txt i poprawi go z kopią pliku?

Wtyczka TellMyShop dla WordPress i WooCommerce łączy twoją stronę z Claude'em. W darmowej wersji TellMyShop Free Claude sprawdza wskazaną stronę tak, jak widzi ją Google: kod odpowiedzi, noindex we wtyczce SEO i w opcji Czytanie, nagłówki strony, reguły robots.txt, mapę witryny. Na górze odpowiedzi podaje najbardziej prawdopodobną przyczynę. Przegląd całej witryny sprawdza też, czy strona prosi wyszukiwarki o nieindeksowanie.

W TellMyShop Pro Claude czyta także pliki strony, więc zobaczy, czy na serwerze leży prawdziwy plik robots.txt i co w nim jest. Poprawkę robi tam, gdzie jest przyczyna, a o tym, czy w ogóle może, decydują przełączniki w panelu wtyczki:

Ty

Search Console pisze, że robots.txt blokuje sklep. Sprawdź, skąd to się bierze.

Claude

Sprawdziłem stronę główną i jedną kartę produktu. Opcja w Ustawieniach, Czytanie jest w porządku, noindexu nie ma. Blokuje prawdziwy plik robots.txt w głównym folderze strony, z datą sprzed przeprowadzki z wersji testowej. Proponuję zmianę:

było: User-agent: *

było: Disallow: /

będzie: User-agent: *

będzie: Disallow: /wp-admin/

będzie: Allow: /wp-admin/admin-ajax.php

będzie: Sitemap: https://twojsklep.pl/sitemap_index.xml

Przed zapisem zrobię kopię obecnego pliku. Do zapisu potrzebny jest przełącznik Serwis. Zapisać? (tak / nie)

Ty

Włączyłem Serwis. Tak.

Claude

Zapisane. Sprawdziłem /robots.txt na żywo, nowa treść jest widoczna. Teraz poproś w Search Console o ponowne pobranie pliku.

Adres mapy w przykładzie jest przykładowy, Claude wpisuje ten, który podaje twoja wtyczka SEO. Każda zmiana trafia do historii zmian, a plik da się przywrócić z kopii. Większość zmian cofniesz jednym poleceniem w rozmowie.

Czego TellMyShop nie robi: nie klika za ciebie w Search Console i nie przyspieszy tego, jak szybko Google odświeży kopię pliku. Nie zmienia też pliku .htaccess, który bywa drugim miejscem blokad. To zostaje po stronie hostingu albo developera.

Zacznij od darmowej wersji TellMyShop Free, która znajdzie blokadę. Działa też z darmowym kontem Claude. Szczegóły o wtyczce są na stronie TellMyShop dla WordPress i WooCommerce, a ceny Pro w cenniku. Gdy szukasz szerszej listy kontrolnej, przeczytaj tekst o audycie SEO WordPress.