Toegang tot een URL volgens robots.txt

Voor websitebeheerders en technici die een pagina vóór livegang, na een migratie of na een wijziging van de regels willen toetsen.

Toets een URL aan de regels van robots.txt en controleer vóór publicatie of crawlers de bedoelde pagina volgens die regels mogen bezoeken.

Hoe te gebruiken

Plak de inhoud van uw robots.txt-bestand in het eerste deel van het invoerveld.
Voeg het scheidingsteken toe dat de tool aangeeft en typ vervolgens het pad of adres dat u wilt testen in het tweede deel.
Voer de test uit om te zien of het pad volgens de door u opgegeven regels is toegestaan of geblokkeerd.
Als het resultaat verrassend is, wijzigt u de regels of het pad en test u opnieuw om de uitkomsten te vergelijken.

Voorbeeld

Het voorbeeld combineert een regel die een map blokkeert met een pad in die map. Controleer na de test of de weergegeven beslissing overeenkomt met de regel en of de geselecteerde crawler degene is die u wilde controleren.

Invoer

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Limieten en formaten

De test gebruikt alleen de robots.txt-inhoud die u plakt, niet het bestand dat daadwerkelijk op een live domein is gepubliceerd.
Regels zijn afhankelijk van volgorde en voorvoegsel: een specifiekere regel kan de beslissing voor hetzelfde pad veranderen.
De tool controleert niet of crawlers van zoekmachines uw richtlijnen werkelijk opvolgen.
Een pad dat hier is toegestaan, kan alsnog buiten de zoekresultaten blijven vanwege een noindex-tag, een wachtwoord of een ander signaal.

Waar de verwerking gebeurt

De controle wordt lokaal in uw browser uitgevoerd. De robots.txt-inhoud en het geteste pad blijven op uw apparaat, zonder aanvraag naar een externe site, en de beslissing verschijnt direct op de pagina.

Veelgestelde vragen

Waarom komt de test niet overeen met wat Google doet?

De test past de regels toe die u hebt geplakt. Google gebruikt mogelijk een andere versie van het bestand, vertrouwt op een opgeslagen kopie of past andere signalen toe. Controleer het bestand dat daadwerkelijk online bereikbaar is voordat u conclusies trekt.

Is het scheidingsteken tussen regels en pad vereist?

Ja, de tool heeft een duidelijke scheiding nodig tussen de robots.txt-inhoud en het geteste pad. Zonder die scheiding kunnen de twee delen niet van elkaar worden onderscheiden, en het resultaat kan inconsistent of onmogelijk te produceren zijn.

Kan ik meerdere adressen tegelijk testen?

De tool verwerkt meestal één pad per keer. Om meerdere adressen te controleren, voert u de test opnieuw uit voor elk pad en noteert u de beslissingen. Dat helpt regels te ontdekken die te breed of slecht geordend zijn.