Disallow: /Bloqueo total
Impide el rastreo de todas las rutas para ese grupo.
Generador de robots.txt con comprobaciones de seguridad
Crea reglas de rastreo editables, añade el sitemap y detecta bloqueos críticos antes de descargar el archivo.
La herramienta no modifica tu web: genera un archivo para que lo revises antes de subirlo.
Define las reglas de rastreo
Empieza con una base segura y añade únicamente rutas que comprendas.
Archivo generado
0/100Revisa antes de publicar
Comprobaciones
Un archivo válido también puede ser peligroso
La sintaxis puede ser correcta y, aun así, bloquear todo el sitio o impedir que Google vea recursos necesarios. Revisa el efecto de cada ruta en tu entorno real.
Leer la guía completa sobre robots.txtNoindex:Directiva no compatible
No utilices robots.txt para pedir la desindexación.
Crawl-delay:No admitido por Google
Google no utiliza esta directiva en robots.txt.
Cómo publicarlo correctamente
- Descarga y abre el archivo para una última revisión.
- Sube
robots.txta la raíz exacta del dominio. - Comprueba que responde en
https://tudominio.es/robots.txt. - Valida el archivo con el informe de robots.txt de Search Console.
- Supervisa rastreo e indexación después del cambio.
Preguntas sobre robots.txt
Diferencias entre rastrear, indexar y descubrir URLs.
¿Un Disallow impide que una URL aparezca en Google?
No necesariamente. Controla el rastreo, pero la URL puede descubrirse mediante enlaces. Para impedir la indexación se necesita un método adecuado como noindex, permitiendo antes el rastreo.
¿Dónde debe publicarse robots.txt?
En la raíz del host y protocolo al que se aplica, por ejemplo https://ejemplo.com/robots.txt.
¿Google admite Crawl-delay?
No. Google no admite esa directiva y esta herramienta no la genera.
¿Añadir el sitemap garantiza que se rastree?
No. Ayuda a descubrir el archivo, pero no garantiza el rastreo ni la indexación de todas las URLs.