Robots.txt en WordPress: de dónde sale, qué bloquea y cómo arreglarlo
Robots.txt en WordPress es un texto corto en tudominio.com/robots.txt que dice a los robots de Google qué no deben visitar. Normalmente WordPress lo crea al vuelo. Cuando bloquea el sitio, la causa suele ser un archivo real olvidado en el servidor tras una mudanza o una regla añadida en un plugin de SEO. De paso, revisa la opción de visibilidad en Ajustes → Lectura.
Autor: El equipo de TellMyShop. Una guía para dueños de sitios WordPress y tiendas WooCommerce: la causa, el arreglo manual y el mismo trabajo en una conversación con el chat.
Última actualización: · 7 min de lectura
Cómo comprobar en un minuto si robots.txt bloquea tu web
Abre en el navegador la dirección de tu web con /robots.txt al final y lee lo que hay. El archivo tiene pocas líneas y se lee más fácil de lo que parece.
| Lo que ves en el archivo | Qué significa | ¿Es un problema? |
|---|---|---|
Disallow: /wp-admin/ y Allow: /wp-admin/admin-ajax.php | el archivo por defecto de WordPress, la administración está cerrada a los robots | no, así debe ser |
Disallow: / bajo User-agent: * | prohibido visitar todo el sitio | sí, todo el sitio está bloqueado |
Disallow: /shop/ o Disallow: /product/ | prohibido visitar una sección | sí, si esa sección debe estar en Google |
Disallow: /*? | prohibidas las direcciones con parámetros | depende, a veces es intencionado para los filtros de la tienda |
una línea Sitemap: con la dirección del sitemap | indica dónde está el sitemap | no, ayuda |
| una página de error o una página en blanco | no hay archivo | no, Google entiende que puede visitarlo todo |
Google explica para qué sirve este archivo y qué no puede hacer en su serie sobre robots.txt en el blog de Search Central. La idea clave: robots.txt controla las visitas del robot, no si una página acaba en los resultados.
Si el archivo parece correcto y el sitio sigue sin estar en Google, la causa está en otra parte. Tienes la lista completa en la entrada sobre por qué una web WordPress no aparece en Google.
¿De dónde saca WordPress el robots.txt?
De tres sitios, y de ahí viene casi toda la confusión. Editas uno y Google lee otro. Al lado hay un cuarto sitio que se confunde con robots.txt: la casilla «Disuadir a los motores de búsqueda de indexar este sitio» en Ajustes → Lectura. En las versiones actuales de WordPress no añade un bloqueo a robots.txt, sino una etiqueta noindex a las páginas, y el efecto es parecido: el sitio sale de Google.
- La versión al vuelo de WordPress. Cuando no hay un archivo real en el servidor, WordPress construye robots.txt en cada visita. El contenido depende de los ajustes, y los plugins pueden añadirle reglas.
- Reglas de los plugins. Un plugin de SEO o de la tienda puede añadir sus propias líneas a la versión al vuelo, y algunos plugins de SEO guardan todo el contenido de robots.txt en sus ajustes.
- Un archivo real en la carpeta principal. Lo subió un desarrollador, el hosting o un plugin de SEO. Cuando existe, el servidor lo sirve en lugar de la versión de WordPress, y todo lo que configures en la administración deja de contar.
Los plugins de SEO añaden sus propios editores. Yoast SEO tiene un editor de archivos en sus herramientas y crea un archivo real en el servidor, como describe su ayuda sobre el archivo robots.txt en Yoast SEO. Rank Math funciona al revés: guarda las reglas en sus ajustes y las sirve al vuelo, pero solo cuando no hay un archivo real en el servidor. Lo explica en su artículo sobre cómo editar robots.txt en Rank Math. Al cambiar de un plugin al otro, el archivo antiguo a menudo se queda y sigue ganando.
Cómo arreglar robots.txt en WordPress paso a paso
Empieza por el sitio que más a menudo tiene la culpa, y revisa el siguiente solo cuando el anterior esté bien.
- Ajustes → Lectura. Asegúrate de que la casilla para disuadir a los motores de búsqueda está desmarcada. No cambia robots.txt, pero es la razón más común por la que todo el sitio desaparece de Google, así que revísala primero.
- Busca el archivo real. En el gestor de archivos de tu hosting o por FTP, mira en la carpeta principal del sitio, donde está la carpeta wp-content. Si robots.txt está ahí, es lo que va a Google, no la versión de WordPress. Si no hay archivo, el bloqueo lo añade un plugin, así que búscalo en el editor de robots.txt de tu plugin de SEO.
- Haz una copia. Descarga el archivo actual a tu ordenador antes de cambiar nada. Si algo sale mal, lo vuelves a subir.
- Corrige o borra el archivo. Quita la línea que bloquea, o todo el archivo si prefieres la versión de WordPress y del plugin de SEO. En Yoast SEO puedes cambiar el mismo archivo desde el editor del plugin.
- Vacía la caché. Un plugin de caché, el hosting o una CDN pueden seguir sirviendo la versión antigua un tiempo. Abre la dirección en una ventana privada.
- Avisa a Google. En Search Console hay un informe de robots.txt en los ajustes. Pide ahí que vuelva a leer el archivo y después revisa la página de inicio y una página de producto.
Cuidado con el reflejo «lo bloqueo para que desaparezca de Google». Con un bloqueo en robots.txt el robot no verá el noindex de la página, así que la dirección puede quedarse en los resultados. Cómo desenredarlo lo cuenta la entrada sobre una página excluida por la etiqueta noindex.
Cómo revisa el chat robots.txt y lo arregla con copia del archivo
El plugin TellMyShop para WordPress y WooCommerce conecta tu sitio con el chat. En la versión gratuita TellMyShop Free, el chat revisa una página tal como la ve Google: el código de respuesta, el noindex del plugin de SEO y de la opción de Lectura, las cabeceras de la página, las reglas de robots.txt y el sitemap. Al principio de la respuesta da la causa más probable. Una revisión de todo el sitio comprueba también si el sitio pide a los buscadores que no lo indexen.
En TellMyShop Pro el chat también lee los archivos del sitio, así que ve si hay un robots.txt real en el servidor y qué contiene. Hace el arreglo donde está la causa, y si puede hacerlo lo deciden los interruptores del panel del plugin:
| Dónde está la causa | Quién puede arreglarlo | Qué necesita TellMyShop Pro |
|---|---|---|
| la opción en Ajustes → Lectura | tú en la administración o el chat | el interruptor Tema, que cubre los ajustes del sitio (24 horas, necesita una copia de la base de datos de hoy) |
| un archivo real en la carpeta principal | tú por FTP o el chat | el interruptor Mantenimiento, acceso técnico completo (3 horas), copia del archivo antes del cambio |
| reglas en los ajustes del plugin de SEO | tú en el editor del plugin o el chat | el interruptor Plugins, que cubre los ajustes de los plugins (24 horas) |
Tú: Search Console dice que robots.txt bloquea la tienda. Mira de dónde viene.
Tu chat: He revisado la página de inicio y una página de producto. La opción de Ajustes → Lectura está bien, no hay noindex. El bloqueo viene de un archivo robots.txt real en la carpeta principal del sitio, con fecha anterior a la mudanza desde la versión de pruebas. Propongo este cambio:
Antes de guardar haré una copia del archivo actual. Guardar necesita el interruptor Mantenimiento. ¿Guardo? (sí / no)
Tú: He activado Mantenimiento. Sí.
Tu chat: Guardado. He comprobado /robots.txt en vivo y se ve el contenido nuevo. Ahora pide en Search Console que vuelva a leer el archivo.
Estado de la tarjeta: esperando tu «sí»versión anterior: User-agent: *
versión anterior: Disallow: /
versión nueva: User-agent: *
versión nueva: Disallow: /wp-admin/
versión nueva: Allow: /wp-admin/admin-ajax.php
versión nueva: Sitemap: https://tutienda.com/sitemap_index.xml
La dirección del sitemap del ejemplo es ilustrativa, el chat pone la que da tu plugin de SEO. Cada cambio queda en el historial de cambios, y el archivo se puede restaurar desde la copia. Puedes deshacer cualquier cambio con una sola petición en la conversación.
Lo que TellMyShop no hace: no hace clic en Search Console por ti y no puede acelerar lo rápido que Google renueva su copia del archivo. Tampoco cambia el archivo .htaccess, que a veces es un segundo sitio de bloqueos. Eso queda para tu hosting o tu desarrollador.
Empieza por la versión gratuita TellMyShop Free, que encontrará el bloqueo. Funciona con Claude o ChatGPT, también con cuentas gratuitas. Los detalles del plugin están en la página TellMyShop para WordPress y WooCommerce, y los precios de Pro en la página de precios. Si quieres una lista de comprobación más amplia, lee la entrada sobre la auditoría SEO de WordPress.
Preguntas y respuestas
¿Dónde está el archivo robots.txt en WordPress?
Casi siempre en ninguna parte, porque WordPress lo crea al vuelo cuando alguien abre tudominio.com/robots.txt. Un archivo real solo está en la carpeta principal del sitio si alguien lo subió o lo creó un plugin de SEO. Si ese archivo existe, gana a la versión de WordPress.
¿Robots.txt quita una página de Google?
No. Robots.txt dice a los robots qué no visitar, pero una dirección bloqueada puede seguir saliendo en los resultados, solo que sin descripción. Para que una página desaparezca de Google necesitas noindex, y el robot tiene que poder leerlo, así que no bloquees esa dirección en robots.txt.
¿Qué significa Disallow: / en robots.txt?
Prohíbe a los robots visitar todo el sitio. En una web en marcha casi siempre es un error. En WordPress suele aparecer después de pasar el sitio desde una versión de pruebas junto con su archivo, o después de añadir una regla en un plugin de SEO.
Después del arreglo Google sigue mostrando el bloqueo. ¿Qué hago?
Google guarda una copia de robots.txt durante un tiempo. En Search Console, abre el informe de robots.txt en los ajustes y pide que vuelva a leer el archivo. Después revisa las direcciones más importantes con la herramienta de inspección de URLs. Comprueba también que tu hosting o tu CDN no sirven una versión antigua en caché.
¿El plugin TellMyShop cambiará robots.txt por sí solo?
En la versión gratuita TellMyShop Free, el chat comprueba si las reglas de robots.txt bloquean el sitio y te dice de dónde vienen, pero no cambia nada. En TellMyShop Pro arregla la causa tras tu aprobación: la opción de visibilidad en los ajustes de Lectura con el interruptor Tema, o el archivo real del servidor con el interruptor Mantenimiento, siempre con una copia del archivo antes del cambio.
WordPress es una marca de la WordPress Foundation. WooCommerce es una marca de Automattic Inc. Claude es una marca de Anthropic PBC. ChatGPT y OpenAI son marcas de OpenAI. TellMyShop no está afiliado a estas empresas.