Revisa el acceso a robots.txt

Útil para especialistas SEO y propietarios que investigan problemas de rastreo o comprueban el archivo después de cambiar un sitio.

Averigua si robots.txt está disponible, qué respuesta entrega el sitio y si los rastreadores pueden encontrar las directivas previstas.

Cómo usar

Introduce el dominio del sitio cuyo archivo robots.txt quieres comprobar, sin añadir una ruta de página.
Inicia la prueba para que el servicio remoto pueda obtener el archivo del sitio de destino.
Observa el estado devuelto y el contenido recibido para ver si los rastreadores pueden leer el archivo.
Si falta el archivo o devuelve un error, corrige su ubicación o los permisos de acceso en el sitio.

Ejemplo

Tras un rediseño, un responsable de SEO puede probar el dominio para confirmar que robots.txt sigue respondiendo. El resultado ayuda a detectar una redirección, una página de error o contenido vacío antes de que los motores de búsqueda pierdan acceso a páginas importantes.

Límites y formatos

Un estado distinto de 200 puede deberse a un cortafuegos, una redirección o una página de error personalizada.
El contenido mostrado puede acortarse por la herramienta o por la respuesta del sitio, lo que dificulta la lectura de reglas largas.
La prueba no muestra si los rastreadores obedecen el archivo; solo muestra qué es accesible.
Una respuesta correcta no garantiza que todas las páginas importantes estén permitidas.

Dónde se procesa

Tu dominio se envía al servidor YOORfree, que después obtiene el archivo robots.txt desde el propio sitio de destino. No se sube ningún archivo local y el estado junto con el contenido recuperado se devuelven para mostrarlos.

Preguntas frecuentes

¿Qué significa un estado 404 para robots.txt?

Un estado 404 significa que el archivo no se encuentra en la dirección esperada. Los rastreadores pueden entonces tratar el sitio como si no tuviera reglas. Comprueba que el archivo esté en la raíz del dominio y que tenga el nombre correcto.

¿Por qué el contenido es diferente del archivo en mi editor?

El sitio puede servir una versión en caché, una redirección o un archivo modificado en el servidor. Compara la dirección probada con tu archivo local y luego borra la caché si es necesario antes de ejecutar la comprobación de nuevo.

¿Puedo probar un subdominio?

Sí, si introduces el subdominio completo. Cada subdominio puede tener su propio archivo robots.txt. Por lo tanto, el resultado solo se aplica al host que introdujiste, no al dominio principal.