Contrôler l'accès à robots.txt

Les référenceurs et responsables de site s'en servent après une mise en ligne ou lorsqu'un moteur cesse d'explorer certaines pages.

Sachez immédiatement si robots.txt répond, quel statut revient et quel contenu les robots reçoivent, pour repérer un blocage d'exploration.

Mode d’emploi

Indiquez le domaine du site dont vous voulez vérifier le fichier robots.txt, sans ajouter de chemin de page.
Lancez le test pour demander au service distant de récupérer le fichier sur le site cible.
Examinez le statut renvoyé et le contenu reçu, afin de voir si les robots peuvent lire le fichier.
Si le fichier manque ou renvoie une erreur, corrigez son emplacement ou ses droits d’accès sur le site.

Exemple

Après une refonte, un responsable SEO peut tester le domaine pour vérifier que robots.txt répond encore. Le résultat permet de repérer une redirection, une page d’erreur ou un contenu vide avant que les moteurs ne perdent l’accès à certaines pages.

Limites et formats

Un statut autre que 200 peut venir d’un pare-feu, d’une redirection ou d’une page d’erreur personnalisée.
Le contenu affiché peut être tronqué par l’outil ou par la réponse du site, ce qui complique la lecture des règles longues.
Le test ne dit pas si les robots respectent le fichier, il montre seulement ce qui est accessible.
Une réponse correcte ne garantit pas que toutes les pages importantes sont autorisées.

Où le traitement a lieu

Votre domaine est transmis au serveur de YOORfree, qui va lui-même chercher le fichier robots.txt sur le site cible. Aucun fichier local n’est envoyé, et le statut ainsi que le contenu obtenu sont renvoyés pour affichage.

Questions fréquentes

Que signifie un statut 404 pour robots.txt ?

Un statut 404 indique que le fichier n’est pas trouvé à l’adresse attendue. Les robots peuvent alors considérer qu’aucune règle ne s’applique. Vérifiez que le fichier est bien placé à la racine du domaine et qu’il porte le bon nom.

Pourquoi le contenu reçu est-il différent de celui de mon éditeur ?

Le site peut servir une version mise en cache, une redirection, ou un fichier modifié sur le serveur. Comparez l’adresse testée avec celle de votre fichier local, puis videz le cache si nécessaire avant de relancer le contrôle.

Puis-je tester un sous-domaine ?

Oui, si vous saisissez le domaine complet du sous-domaine. Chaque sous-domaine peut avoir son propre robots.txt. Le résultat concerne donc uniquement l’hôte indiqué, pas le domaine principal.