Test de bereikbaarheid van robots.txt

Voor site-eigenaren en SEO-specialisten die na een release of migratie willen uitsluiten dat crawlers onbedoeld worden geweerd.

Vind direct uit of robots.txt bereikbaar is en welke reactie zoekmachines ontvangen. Zo ontdekt u blokkades voordat indexering misloopt.

Hoe te gebruiken

Voer het domein in van de site waarvan u het robots.txt-bestand wilt controleren, zonder een paginapad toe te voegen.
Start de test zodat de externe dienst het bestand van de doelsite kan ophalen.
Bekijk de teruggegeven status en de ontvangen inhoud om te zien of crawlers het bestand kunnen lezen.
Als het bestand ontbreekt of een fout retourneert, corrigeert u de locatie of de toegangsrechten op de site.

Voorbeeld

Na een herontwerp kan een SEO-manager het domein testen om te bevestigen dat robots.txt nog reageert. Het resultaat helpt een redirect, een foutpagina of lege inhoud op te sporen voordat zoekmachines de toegang tot belangrijke pagina's verliezen.

Limieten en formaten

Een andere status dan 200 kan afkomstig zijn van een firewall, een redirect of een aangepaste foutpagina.
De weergegeven inhoud kan door de tool of door de reactie van de site worden ingekort, waardoor lange regels moeilijker leesbaar zijn.
De test laat niet zien of crawlers het bestand opvolgen; hij laat alleen zien wat bereikbaar is.
Een correct antwoord garandeert niet dat elke belangrijke pagina is toegestaan.

Waar de verwerking gebeurt

Uw domein wordt naar de YOORfree-server verzonden, die vervolgens het robots.txt-bestand van de doelsite zelf ophaalt. Er wordt geen lokaal bestand geüpload, en de status plus de opgehaalde inhoud worden ter weergave teruggegeven.

Veelgestelde vragen

Wat betekent een 404-status voor robots.txt?

Een 404-status betekent dat het bestand niet op het verwachte adres wordt gevonden. Crawlers kunnen de site dan behandelen alsof er geen regels zijn. Controleer of het bestand in de hoofdmap van het domein staat en de juiste bestandsnaam heeft.

Waarom verschilt de inhoud van het bestand in mijn editor?

De site kan een opgeslagen versie, een redirect of een op de server gewijzigd bestand leveren. Vergelijk het geteste adres met uw lokale bestand en leeg indien nodig de cache voordat u de controle opnieuw uitvoert.

Kan ik een subdomein testen?

Ja, als u het volledige subdomein invoert. Elk subdomein kan een eigen robots.txt-bestand hebben. Het resultaat geldt daarom alleen voor de host die u hebt ingevoerd, niet voor het hoofddomein.