Kontrola reguł robots.txt dla adresu

Wspiera właścicieli witryn i specjalistów SEO przed wdrożeniem reguł, gdy pojedynczy adres trzeba porównać z zawartością pliku robots.txt.

Zweryfikuj, czy wskazany adres jest dozwolony przez podane reguły robots.txt, zanim opublikujesz zmiany. Od razu wychwycisz konflikt w regułach dostępu.

Jak używać

Wklej zawartość pliku robots.txt w pierwszej części obszaru wejściowego.
Dodaj separator pokazany przez narzędzie, a następnie wpisz ścieżkę lub adres, który chcesz przetestować, w drugiej części.
Uruchom test, aby zobaczyć, czy ścieżka jest dozwolona czy zablokowana przez podane reguły.
Jeśli wynik jest zaskakujący, zmień reguły lub ścieżkę i przetestuj ponownie, aby porównać rezultaty.

Przykład

Przykład łączy regułę blokującą folder ze ścieżką wewnątrz tego folderu. Po przetestowaniu sprawdź, czy wyświetlona decyzja odpowiada regule i czy wybrany robot to ten, który chciałeś sprawdzić.

Dane wejściowe

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Ograniczenia i formaty

Test używa wyłącznie wklejonej zawartości robots.txt, a nie pliku faktycznie opublikowanego w działającej domenie.
Reguły zależą od kolejności i prefiksu: bardziej szczegółowa reguła może zmienić decyzję dla tej samej ścieżki.
Narzędzie nie weryfikuje, czy roboty wyszukiwarek naprawdę przestrzegają Twoich dyrektyw.
Ścieżka dozwolona tutaj może nadal nie pojawiać się w wynikach wyszukiwania z powodu tagu noindex, hasła lub innego sygnału.

Gdzie odbywa się przetwarzanie

Sprawdzenie odbywa się lokalnie w przeglądarce. Zawartość robots.txt i testowana ścieżka pozostają na Twoim urządzeniu, bez żądania do zewnętrznej witryny, a decyzja pojawia się bezpośrednio na stronie.

Częste pytania

Dlaczego test nie zgadza się z tym, co robi Google?

Test stosuje reguły, które wkleiłeś. Google może używać innej wersji pliku, opierać się na kopii z pamięci podręcznej lub stosować inne sygnały. Przed wyciągnięciem wniosków sprawdź plik, który jest faktycznie dostępny online.

Czy separator między regułami a ścieżką jest wymagany?

Tak, narzędzie potrzebuje wyraźnego rozdzielenia zawartości robots.txt i testowanej ścieżki. Bez tego nie można odróżnić obu części, a wynik może być niespójny lub niemożliwy do uzyskania.

Czy mogę przetestować kilka adresów jednocześnie?

Narzędzie zwykle obsługuje jedną ścieżkę naraz. Aby sprawdzić wiele adresów, uruchom test ponownie dla każdej ścieżki i zapisz decyzje. Pomaga to wykryć reguły zbyt ogólne lub źle uporządkowane.