Robots.txt ve WordPressu: odkud se bere, co blokuje a jak ho opravit
Robots.txt ve WordPressu je krátký text na adrese vasedomena.cz/robots.txt, který robotům Google říká, co nemají navštěvovat. WordPress ho obvykle vytváří za běhu. Když blokuje web, příčinou je nejčastěji skutečný soubor, který zůstal na serveru po přesunu, nebo pravidlo přidané v SEO pluginu. Když už jste u toho, zkontrolujte i volbu viditelnosti v Nastavení > Čtení.
Autor: Tým TellMyShop. Průvodce pro majitele webů na WordPressu a obchodů na WooCommerce: příčina, ruční oprava a stejná práce v rozhovoru v chatu.
Naposledy aktualizováno: · 6 min čtení
Jak za minutu zjistit, zda robots.txt blokuje váš web
Otevřete v prohlížeči adresu webu s přidaným /robots.txt a přečtěte si, co tam je. Soubor má pár řádků a čte se snáz, než vypadá.
| Co v souboru vidíte | Co to znamená | Je to problém |
|---|---|---|
Disallow: /wp-admin/ a Allow: /wp-admin/admin-ajax.php | výchozí soubor WordPressu, administrace je pro roboty zavřená | ne, tak to má být |
Disallow: / pod User-agent: * | zákaz návštěvy celého webu | ano, celý web je zablokovaný |
Disallow: /shop/ nebo Disallow: /product/ | zákaz pro jednu sekci | ano, pokud má být ta sekce v Google |
Disallow: /*? | zákaz pro adresy s parametry | záleží, u filtrů e-shopu je to někdy záměr |
řádek Sitemap: s adresou mapy webu | ukazatel, kde je mapa webu | ne, pomáhá |
| chybová nebo prázdná stránka | soubor neexistuje | ne, Google předpokládá, že smí navštívit všechno |
K čemu tento soubor slouží a co neumí, vysvětluje Google ve své sérii o robots.txt na blogu Search Central. Hlavní poučení odtud: robots.txt řídí návštěvy robota, ne to, zda se stránka dostane do výsledků.
Pokud soubor vypadá v pořádku a web v Google pořád není, příčina je jinde. Úplný seznam najdete v článku o tom, proč se web na WordPressu nezobrazuje v Google.
Odkud WordPress robots.txt bere
Ze tří míst, a z toho pramení většina zmatků. Upravíte jedno a Google čte jiné. Vedle nich je čtvrté místo, které si lidé s robots.txt pletou: políčko „Požádat vyhledávače, aby neindexovaly tento web“ v Nastavení > Čtení. V současných verzích WordPressu nepřidává blokaci do robots.txt, ale přidává na stránky značku noindex a účinek je podobný: web z Google vypadne.
- Verze za běhu od WordPressu. Když na serveru skutečný soubor není, WordPress sestaví robots.txt při každé návštěvě. Obsah závisí na nastavení a pluginy do něj mohou přidávat pravidla.
- Pravidla z pluginů. SEO plugin nebo plugin e-shopu může do verze za běhu přidat vlastní řádky a některé SEO pluginy drží celý obsah robots.txt ve svém nastavení.
- Skutečný soubor v hlavní složce. Nahrál ho vývojář, hosting nebo SEO plugin. Když existuje, server ho posílá místo verze WordPressu a všechno, co nastavíte v administraci, přestane hrát roli.
SEO pluginy přidávají vlastní editory. Yoast SEO má editor souborů ve svých nástrojích a vytváří skutečný soubor na serveru, jak popisuje jeho nápověda k souboru robots.txt v Yoast SEO. Rank Math to dělá obráceně: pravidla drží ve svém nastavení a posílá je za běhu, ale jen když na serveru není skutečný soubor. Popisuje to v článku o úpravě robots.txt v Rank Math. Když přejdete z jednoho pluginu na druhý, starý soubor často zůstane a dál vyhrává.
Jak opravit robots.txt ve WordPressu krok za krokem
Začněte místem, které bývá na vině nejčastěji, a další kontrolujte, až když je předchozí v pořádku.
- Nastavení > Čtení. Ověřte, že políčko o žádosti, aby vyhledávače web neindexovaly, není zaškrtnuté. Políčko robots.txt nemění, ale je nejčastějším důvodem, proč celý web zmizí z Google, takže ho zkontrolujte jako první.
- Najděte skutečný soubor. Ve správci souborů hostingu nebo přes FTP se podívejte do hlavní složky webu, kde je složka wp-content. Pokud tam robots.txt je, do Google jde právě on, ne verze WordPressu. Pokud soubor neexistuje, blokaci přidává plugin, takže ji hledejte v editoru robots.txt svého SEO pluginu.
- Udělejte zálohu. Než cokoli změníte, stáhněte si aktuální soubor do počítače. Když se něco pokazí, nahrajete ho zpět.
- Soubor opravte nebo smažte. Odstraňte blokující řádek, nebo celý soubor, pokud dáváte přednost verzi WordPressu a SEO pluginu. V Yoast SEO můžete stejný soubor změnit z editoru pluginu.
- Vymažte cache. Cache plugin, hosting nebo CDN mohou ještě chvíli posílat starou verzi. Otevřete adresu v anonymním okně.
- Dejte vědět Googlu. V Search Console je v nastavení přehled robots.txt. Požádejte tam o nové načtení souboru a pak zkontrolujte úvodní stránku a jednu stránku produktu.
Pozor na reflex „zablokuji to, ať to z Google zmizí“. Blokace v robots.txt znamená, že robot na stránce noindex neuvidí, takže adresa může ve výsledcích zůstat. Jak to rozmotat, popisuje článek o stránce vyloučené značkou noindex.
Jak chat zkontroluje robots.txt a opraví ho se zálohou souboru
Plugin TellMyShop pro WordPress a WooCommerce propojí váš web s chatem. V bezplatné verzi TellMyShop Free chat zkontroluje danou stránku tak, jak ji vidí Google: kód odpovědi, noindex v SEO pluginu a ve volbě Čtení, hlavičky stránky, pravidla robots.txt a mapu webu. Na začátku odpovědi uvede nejpravděpodobnější příčinu. Kontrola celého webu ověří i to, zda web nežádá vyhledávače, aby ho neindexovaly.
V TellMyShop Pro chat čte i soubory webu, takže vidí, zda je na serveru skutečný soubor robots.txt a co v něm je. Opravu udělá tam, kde je příčina, a zda to vůbec smí, rozhodují přepínače v panelu pluginu:
| Kde je příčina | Kdo to může opravit | Co TellMyShop Pro potřebuje |
|---|---|---|
| volba v Nastavení > Čtení | vy v administraci nebo chat | přepínač Šablona, který pokrývá nastavení webu (24 hodin, vyžaduje dnešní zálohu databáze) |
| skutečný soubor v hlavní složce | vy přes FTP nebo chat | přepínač Servis, plný technický přístup (3 hodiny), záloha souboru před změnou |
| pravidla v nastavení SEO pluginu | vy v editoru pluginu nebo chat | přepínač Pluginy, který pokrývá nastavení pluginů (24 hodin) |
Vy: Search Console hlásí, že robots.txt blokuje obchod. Zjisti, odkud to jde.
Váš chat: Zkontroloval jsem úvodní stránku a jednu stránku produktu. Volba v Nastavení > Čtení je v pořádku, noindex tam není. Blokace pochází ze skutečného souboru robots.txt v hlavní složce webu, s datem před přesunem z testovací verze. Navrhuji tuto změnu:
Před uložením udělám zálohu současného souboru. Uložení vyžaduje přepínač Servis. Uložit? (ano / ne)
Vy: Servis jsem zapnul. Ano.
Váš chat: Uloženo. Zkontroloval jsem /robots.txt naživo, nový obsah je vidět. Teď v Search Console požádejte o nové načtení souboru.
Stav karty: čeká na vaše „ano“stará verze: User-agent: *
stará verze: Disallow: /
nová verze: User-agent: *
nová verze: Disallow: /wp-admin/
nová verze: Allow: /wp-admin/admin-ajax.php
nová verze: Sitemap: https://vasobchod.cz/sitemap_index.xml
Adresa mapy webu v příkladu je ilustrativní, chat zadá tu, kterou uvádí váš SEO plugin. Každá změna se zapíše do historie změn a soubor lze obnovit ze zálohy. Každou změnu můžete vrátit zpět jedním pokynem v konverzaci.
Co TellMyShop nedělá: neklikne za vás v Search Console a nedokáže urychlit, jak rychle Google obnoví svou kopii souboru. Nemění ani soubor .htaccess, který bývá druhým místem pro blokace. To zůstává na hostingu nebo vývojáři.
Začněte bezplatnou verzí TellMyShop Free, která blokaci najde. Funguje s Claude nebo ChatGPT, včetně bezplatných účtů. Podrobnosti o pluginu jsou na stránce TellMyShop pro WordPress a WooCommerce a ceny Pro na stránce ceník. Pokud chcete širší kontrolní seznam, přečtěte si článek o SEO auditu webu na WordPressu.
Otázky a odpovědi
Kde je ve WordPressu soubor robots.txt?
Nejčastěji nikde, protože ho WordPress vytváří za běhu, když někdo otevře vasedomena.cz/robots.txt. Skutečný soubor leží v hlavní složce webu jen tehdy, když ho tam někdo nahrál nebo ho vytvořil SEO plugin. Pokud takový soubor existuje, má přednost před verzí WordPressu.
Odstraní robots.txt stránku z Google?
Ne. Robots.txt říká robotům, co nemají navštěvovat, ale zablokovaná adresa se ve výsledcích může dál objevit, jen bez popisu. Aby stránka z Google zmizela, potřebujete noindex a robot ho musí umět přečíst, takže adresu v robots.txt neblokujete.
Co v robots.txt znamená Disallow: /?
Zakazuje robotům navštěvovat celý web. Na živém webu je to téměř vždy chyba. Ve WordPressu se obvykle objeví po přesunu webu z testovací verze i se souborem, nebo po přidání pravidla v SEO pluginu.
Po opravě Google pořád ukazuje blokaci. Co mám dělat?
Google si kopii robots.txt chvíli drží. V Search Console otevřete v nastavení přehled robots.txt a požádejte o nové načtení souboru, pak zkontrolujte nejdůležitější adresy nástrojem pro kontrolu URL. Ověřte také, že hosting nebo CDN neposílá starou verzi z cache.
Změní plugin TellMyShop robots.txt sám?
V bezplatné verzi TellMyShop Free chat zkontroluje, zda pravidla robots.txt blokují web, a řekne, odkud pocházejí, ale nic nemění. V TellMyShop Pro po vašem souhlasu opraví příčinu: volbu viditelnosti v nastavení Čtení s přepínačem Šablona, nebo skutečný soubor na serveru s přepínačem Servis, vždy se zálohou souboru před změnou.
WordPress je ochranná známka WordPress Foundation. WooCommerce je ochranná známka společnosti Automattic Inc. Claude je ochranná známka společnosti Anthropic PBC. ChatGPT a OpenAI jsou ochranné známky společnosti OpenAI. TellMyShop s těmito společnostmi není propojen.