Permiso de una URL según robots.txt

Responsables de sitios y especialistas en indexación pueden comprobar una URL antes de publicarla cuando sus reglas de robots.txt generan dudas.

Aclara si una URL está permitida por tus reglas de robots.txt y detecta una restricción inesperada antes de publicar la página.

Cómo usar

Pega el contenido de tu archivo robots.txt en la primera parte del área de entrada.
Añade el separador que muestra la herramienta y luego escribe la ruta o dirección que quieres probar en la segunda parte.
Ejecuta la prueba para ver si la ruta está permitida o bloqueada según las reglas que proporcionaste.
Si el resultado es sorprendente, cambia las reglas o la ruta y vuelve a probar para comparar resultados.

Ejemplo

El ejemplo combina una regla que bloquea una carpeta con una ruta dentro de esa carpeta. Después de probar, comprueba si la decisión mostrada coincide con la regla y si el rastreador seleccionado es el que querías comprobar.

Entrada

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Límites y formatos

La prueba usa solo el contenido de robots.txt que pegas, no el archivo publicado realmente en un dominio en vivo.
Las reglas dependen del orden y del prefijo: una regla más específica puede cambiar la decisión para la misma ruta.
La herramienta no verifica si los rastreadores de motores de búsqueda obedecen realmente tus directivas.
Una ruta permitida aquí puede seguir fuera de los resultados de búsqueda debido a una etiqueta noindex, una contraseña u otra señal.

Dónde se procesa

La comprobación se ejecuta localmente en tu navegador. El contenido de robots.txt y la ruta probada permanecen en tu dispositivo, sin ninguna solicitud a un sitio externo, y la decisión aparece directamente en la página.

Preguntas frecuentes

¿Por qué la prueba no coincide con lo que hace Google?

La prueba aplica las reglas que pegaste. Google puede usar una versión diferente del archivo, basarse en una copia en caché o aplicar otras señales. Comprueba el archivo que realmente sea accesible en línea antes de sacar conclusiones.

¿Es obligatorio el separador entre las reglas y la ruta?

Sí, la herramienta necesita una separación clara entre el contenido de robots.txt y la ruta que se está probando. Sin él, las dos partes no se pueden distinguir y el resultado puede ser inconsistente o imposible de generar.

¿Puedo probar varias direcciones a la vez?

La herramienta suele manejar una ruta a la vez. Para comprobar varias direcciones, ejecuta la prueba de nuevo para cada ruta y registra las decisiones. Eso ayuda a revelar reglas demasiado amplias o mal ordenadas.