La herramienta tiene dos modos. Crear robots.txt monta el archivo a partir de una plantilla y de tus propias reglas, y te deja copiarlo o descargarlo. Comprobar robots.txt carga el archivo real de cualquier web o el texto que pegues, busca errores y te dice si un rastreador concreto puede abrir una dirección concreta.
Qué hace robots.txt y qué no hace
robots.txt está en la raíz de la web y dice a los rastreadores de los buscadores qué secciones no deben rastrear. Es una convención, no una protección: el archivo no oculta páginas a las personas ni las elimina de los resultados de búsqueda. Google puede seguir mostrando una página bloqueada sin descripción si hay enlaces hacia ella. Para que una página no se indexe necesitas la metaetiqueta robots con noindex, y para cerrar una web de pruebas necesitas una contraseña. Nuestro generador .htaccess te escribe esas reglas de contraseña.
Plantillas
- WordPress bloquea /wp-admin/ pero deja abierto admin-ajax.php, del que dependen temas y plugins, y oculta las páginas de búsqueda interna.
- OpenCart bloquea el área de administración, el carrito, el pago, la comparación y los parámetros sort y limit, que crean páginas duplicadas.
- Bloquear todo sirve para una copia de pruebas, pero solo junto con una contraseña.
- Bloquear rastreadores de entrenamiento de IA añade un grupo aparte para GPTBot, ClaudeBot, CCBot, Google-Extended y Applebot-Extended. No afecta a la búsqueda normal de Google.
Cómo lee Google las reglas
Para cada rastreador se elige el grupo User-agent más específico; si no hay ninguno, se aplica el grupo de *. Dentro del grupo gana la regla más larga que coincide con la dirección, y con la misma longitud Allow gana a Disallow. El signo * equivale a cualquier secuencia y $ marca el final de la dirección. La prueba de URL del modo de comprobación funciona exactamente así, de modo que puedes ver de antemano si alguna página importante está bloqueada por error.
Errores frecuentes
- Disallow: / para todos los rastreadores, olvidado tras pasar la web desde su copia de pruebas.
- Una dirección relativa en Sitemap: tiene que ser una URL completa con https://.
- noindex dentro de robots.txt: Google ignora esa línea.
- Archivos CSS y JS bloqueados: el buscador no ve la página como la ven los visitantes.
- Un archivo de más de 500 KiB: Google solo lee el principio.
Lo que necesita una web WordPress de su servidor lo cuenta nuestra guía de hosting para WordPress, y la herramienta para comprobar redirecciones muestra si el archivo se sirve con estado 200 y sin redirecciones de más. Para revisar a la vez robots.txt, el sitemap, el SSL y las cabeceras, usa la herramienta para verificar una página web.
Comprobar un archivo real
El modo de comprobación carga https://dominio/robots.txt desde nuestro servidor, sigue hasta cinco redirecciones y rechaza las direcciones privadas. Un 404 significa que no hay archivo y que los rastreadores pueden leerlo todo, algo correcto para la mayoría de las webs. Un error 5xx es más serio: Google puede pausar un tiempo el rastreo de la web. El número de comprobaciones está limitado y el contenido de los archivos no se guarda.
Sube el archivo a la raíz de la web con el gestor de archivos o por FTP. En el hosting de RichHost también tienes SSH, y WordPress se instala con un clic; los detalles están en nuestras tarifas de hosting.
Preguntas frecuentes
¿Dónde tiene que estar robots.txt?
Solo en la raíz del host: https://example.com/robots.txt. En una subcarpeta nadie lo lee, y cada subdominio necesita su propio archivo.
¿Hace falta Crawl-delay?
Google lo ignora, mientras que Bing y algunos otros rastreadores lo respetan. Si el servidor no aguanta la carga, es mejor resolver la causa que frenar a los rastreadores.
¿Cómo evito que una web en construcción salga en el buscador?
Protégela con Basic Auth. Disallow: / solo pide a los rastreadores que no rastreen y no garantiza que las direcciones no aparezcan en los resultados.
¿Puedo bloquear solo a los rastreadores de IA?
Sí, activa la opción correspondiente. Los bots que respetan las normas la cumplen, pero robots.txt no puede obligarlos técnicamente.