Testa åtkomsten till robots.txt

För webbplatsägare och SEO-specialister som efter en lansering eller flytt vill utesluta att robotar stoppas av misstag.

Ta reda på om robots.txt går att nå och vilket svar sökmotorernas robotar får. Upptäck blockeringar innan indexeringen påverkas.

Så använder du

Ange domänen för webbplatsen vars robots.txt-fil du vill kontrollera, utan att lägga till en sidsökväg.
Starta testet så att fjärrtjänsten kan hämta filen från målwebbplatsen.
Titta på den returnerade statusen och det mottagna innehållet för att se om crawlers kan läsa filen.
Om filen saknas eller returnerar ett fel, åtgärda dess plats eller åtkomstbehörigheter på webbplatsen.

Exempel

Efter en omdesign kan en SEO-ansvarig testa domänen för att bekräfta att robots.txt fortfarande svarar. Resultatet hjälper till att upptäcka en omdirigering, en felsida eller tomt innehåll innan sökmotorer förlorar åtkomst till viktiga sidor.

Gränser och format

En annan status än 200 kan komma från en brandvägg, en omdirigering eller en anpassad felsida.
Innehållet som visas kan kortas av verktyget eller av webbplatsens svar, vilket gör långa regler svårare att läsa.
Testet visar inte om crawlers följer filen; det visar bara vad som är nåbart.
Ett korrekt svar garanterar inte att varje viktig sida är tillåten.

Var bearbetningen sker

Din domän skickas till YOORfree-servern, som sedan hämtar robots.txt-filen från målwebbplatsen själv. Ingen lokal fil laddas upp, och statusen plus det hämtade innehållet returneras för visning.

Vanliga frågor

Vad betyder statusen 404 för robots.txt?

Statusen 404 betyder att filen inte hittas på den förväntade adressen. Crawlers kan då behandla webbplatsen som om den inte har några regler. Kontrollera att filen ligger i domänens rot och har rätt filnamn.

Varför skiljer sig innehållet från filen i min redigerare?

Webbplatsen kan visa en cachad version, en omdirigering eller en fil som ändrats på servern. Jämför den testade adressen med din lokala fil och rensa cachen vid behov innan du kör kontrollen igen.

Kan jag testa en underdomän?

Ja, om du anger hela underdomänen. Varje underdomän kan ha sin egen robots.txt-fil. Resultatet gäller därför endast för värden du angav, inte för huvuddomänen.