Autorisation d’une URL par robots.txt

Responsables de site et spécialistes de l’indexation peuvent vérifier une URL avant publication lorsqu’un doute subsiste sur les règles robots.txt.

Anticipez l’accès à une URL en vérifiant si vos règles robots.txt l’autorisent, pour repérer une interdiction avant la mise en ligne.

Mode d’emploi

Collez le contenu de votre fichier robots.txt dans la première partie de la zone de saisie.
Ajoutez le séparateur indiqué par l’outil, puis saisissez le chemin ou l’adresse à tester dans la seconde partie.
Lancez le test pour voir si le chemin est autorisé ou interdit selon les règles fournies.
Si le résultat vous surprend, modifiez les règles ou le chemin et relancez le test pour comparer.

Exemple

L’exemple fourni associe une règle qui interdit un dossier et un chemin placé dans ce dossier. Après le test, regardez si la décision affichée correspond à la règle et si le robot choisi est bien celui que vous voulez vérifier.

Entrée

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Résultat

Chemin : /admin/page
AUTORISE : aucune regle Disallow ne correspond

Allow correspondants : aucun
Disallow correspondants : aucun

Limites et formats

Le test utilise uniquement le contenu robots.txt que vous collez, pas le fichier réellement publié sur un domaine.
Les règles sont sensibles à l’ordre et au préfixe : une règle plus précise peut changer la décision pour un même chemin.
L’outil ne vérifie pas si les robots des moteurs respectent réellement vos directives.
Un chemin autorisé ici peut rester non indexé pour d’autres raisons, comme une balise noindex ou un mot de passe.

Où le traitement a lieu

La vérification est réalisée localement dans votre navigateur. Le contenu robots.txt et le chemin testé restent sur votre appareil, sans requête vers un site externe, et la décision s’affiche directement dans la page.

Questions fréquentes

Pourquoi le test ne correspond-il pas au comportement de Google ?

Le test applique les règles que vous avez collées. Google peut utiliser une version différente du fichier, la mettre en cache ou appliquer d’autres signaux. Vérifiez le fichier réellement accessible en ligne avant de conclure.

Le séparateur entre les règles et le chemin est-il obligatoire ?

Oui, l’outil attend une séparation claire entre le contenu robots.txt et le chemin à tester. Sans ce séparateur, il ne peut pas distinguer les deux parties et le résultat risque d’être incohérent ou impossible à produire.

Puis-je tester plusieurs adresses d’un coup ?

L’outil traite généralement un chemin à la fois. Pour contrôler plusieurs adresses, relancez le test avec chaque chemin et notez les décisions obtenues. Cela permet de repérer les règles trop larges ou mal ordonnées.