Generador de robots.txt

Responsables de sitios y creadores de contenido pueden usarlo antes de publicar una página o prepararla para compartir. Crea un archivo robots.txt con sitemap.

Crea un archivo robots.txt con sitemap. El resultado aparece al instante en tu navegador, listo para copiar, sin cuenta y sin subir ni guardar datos.

Cómo usar

Introduce la dirección base de tu sitio, sin una ruta de página, para indicar el dominio que se debe usar.
Ejecuta la acción de generación para crear el contenido de robots.txt que incluya reglas y la ubicación del sitemap.
Lee el texto generado y confirma que el dominio y la ruta del sitemap coinciden con tu sitio real.
Copia el resultado en un archivo llamado robots.txt y colócalo en la raíz de tu sitio web.

Ejemplo

El ejemplo usa una dirección de dominio sencilla. Después de la generación, comprueba que la línea del sitemap refleja ese dominio y que las directivas no bloquean páginas que quieres indexar.

Entrada

https://example.com

Resultado

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Límites y formatos

El archivo generado debe publicarse en la raíz del dominio para que lo lean los rastreadores de motores de búsqueda.
Un error en el dominio produce un sitemap que apunta al sitio equivocado y puede dificultar el rastreo.
Un archivo robots.txt no impide que se indexe una página ya conocida por un motor de búsqueda y no sustituye a una etiqueta noindex.
Las reglas generadas son amplias; ajústalas si gestionas varios subdominios o necesitas reglas para rastreadores específicos.

Dónde se procesa

El contenido de robots.txt se genera dentro de tu navegador. La dirección que introduzcas no sale de tu dispositivo, la herramienta no almacena nada y el texto está listo para copiarlo desde la página.

Preguntas frecuentes

¿Dónde debo colocar el archivo robots.txt?

Debe ser accesible en la raíz de tu dominio, en la dirección habitual de robots.txt. Un archivo colocado en una subcarpeta no será tratado como el archivo robots.txt principal por los rastreadores.

¿La herramienta crea el sitemap automáticamente?

Genera una línea que apunta a la ubicación del sitemap según el dominio que introduzcas. No crea el archivo sitemap en sí. Todavía necesitas un sitemap válido disponible en la dirección que anuncies.

¿Puedo bloquear un sitio entero con este generador?

El archivo generado contiene directivas generales. Si quieres bloquear todo el sitio, debes añadir la regla correspondiente al archivo o editar el resultado. Revisa siempre el contenido antes de publicarlo.