Kontroll av en URL mot robots.txt

Hjälper webbplatsansvariga och SEO-specialister före en regeländring när en enskild URL måste prövas mot robots.txt.

Kontrollera om en URL tillåts av reglerna i robots.txt innan du publicerar en regeländring. Beskedet visar om åtkomsten är tillåten eller blockerad.

Så använder du

Klistra in innehållet i din robots.txt-fil i den första delen av inmatningsområdet.
Lägg till avgränsaren som verktyget visar och skriv sedan sökvägen eller adressen du vill testa i den andra delen.
Kör testet för att se om sökvägen är tillåten eller blockerad enligt reglerna du angav.
Om resultatet är överraskande ändrar du reglerna eller sökvägen och testar igen för att jämföra utfall.

Exempel

Exemplet parar ihop en regel som blockerar en mapp med en sökväg i den mappen. Efter testet kontrollerar du om det visade beslutet matchar regeln och om den valda crawler är den du avsåg att kontrollera.

Indata

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Gränser och format

Testet använder endast det robots.txt-innehåll du klistrar in, inte filen som faktiskt är publicerad på en live-domän.
Regler beror på ordning och prefix: en mer specifik regel kan ändra beslutet för samma sökväg.
Verktyget verifierar inte om sökmotorernas crawlers verkligen följer dina direktiv.
En sökväg som tillåts här kan fortfarande hållas borta från sökresultat på grund av en noindex-tagg, ett lösenord eller en annan signal.

Var bearbetningen sker

Kontrollen körs lokalt i din webbläsare. Innehållet i robots.txt och den testade sökvägen stannar på din enhet, utan någon begäran till en extern webbplats, och beslutet visas direkt på sidan.

Vanliga frågor

Varför matchar inte testet vad Google gör?

Testet tillämpar reglerna du klistrade in. Google kan använda en annan version av filen, förlita sig på en cachad kopia eller tillämpa andra signaler. Kontrollera filen som faktiskt är nåbar online innan du drar slutsatser.

Krävs avgränsaren mellan regler och sökväg?

Ja, verktyget behöver en tydlig separation mellan robots.txt-innehållet och sökvägen som testas. Utan den kan de två delarna inte skiljas åt, och resultatet kan bli inkonsekvent eller omöjligt att ta fram.

Kan jag testa flera adresser samtidigt?

Verktyget hanterar vanligtvis en sökväg i taget. För att kontrollera flera adresser kör du testet igen för varje sökväg och registrerar besluten. Det hjälper till att avslöja regler som är för breda eller dåligt ordnade.