Générateur robots.txt

Les responsables de site et créateurs de contenu l'utilisent avant une mise en ligne ou le partage d'une nouvelle page. Créez un fichier robots.txt avec sitemap.

Créez un fichier robots.txt avec sitemap. Le résultat s'affiche aussitôt dans votre navigateur, prêt à copier, sans compte, téléversement ni stockage.

Mode d’emploi

Saisissez l’adresse de base de votre site, sans chemin de page, pour indiquer le domaine à utiliser.
Lancez la génération pour produire un contenu robots.txt qui inclut les règles et l’emplacement du sitemap.
Relisez le texte obtenu et vérifiez que le domaine et le chemin du sitemap correspondent bien à votre site.
Copiez le résultat dans un fichier nommé robots.txt, puis placez-le à la racine de votre site.

Exemple

L’exemple utilise une adresse de domaine simple. Après génération, contrôlez que la ligne du sitemap reprend ce domaine et que les directives générées ne bloquent pas les pages que vous voulez voir indexées.

Entrée

https://example.com

Résultat

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Limites et formats

Le fichier généré doit être publié à la racine du domaine pour être lu par les robots des moteurs de recherche.
Une erreur dans le domaine produit un sitemap qui ne correspond pas à votre site et peut gêner l’exploration.
Le fichier robots.txt n’empêche pas l’indexation d’une page déjà connue et ne remplace pas une balise noindex.
Les règles générées sont générales : adaptez-les si vous devez gérer plusieurs sous-domaines ou des robots spécifiques.

Où le traitement a lieu

La génération du fichier robots.txt se fait dans votre navigateur. L’adresse que vous saisissez ne quitte pas votre appareil, aucune donnée n’est stockée, et le texte produit est disponible à la copie dans la page.

Questions fréquentes

Où dois-je placer le fichier robots.txt ?

Il doit être accessible à la racine de votre domaine, à l’adresse habituelle du fichier robots.txt. Un fichier placé dans un sous-dossier ne sera pas lu comme le fichier principal par les robots.

Le sitemap est-il créé automatiquement ?

L’outil génère une ligne qui indique l’emplacement du sitemap à partir du domaine saisi. Il ne crée pas le fichier sitemap lui-même. Vous devez donc disposer d’un sitemap valide à l’adresse annoncée.

Puis-je bloquer tout un site avec ce générateur ?

Le fichier produit contient des directives générales. Si vous souhaitez bloquer tout le site, vous devez écrire la règle correspondante dans le fichier ou modifier le résultat. Vérifiez toujours le contenu avant de le publier.