Przetestuj dostępność pliku robots.txt

Dla właścicieli witryn i specjalistów SEO, którzy po wdrożeniu lub migracji chcą wykluczyć przypadkowe odcięcie robotów.

Dowiedz się, czy robots.txt jest dostępny i jaką odpowiedź otrzymują roboty wyszukiwarek. Wykryj blokadę, zanim ucierpi indeksowanie.

Jak używać

Wprowadź domenę witryny, której plik robots.txt chcesz sprawdzić, bez dodawania ścieżki strony.
Uruchom test, aby zdalna usługa mogła pobrać plik z docelowej witryny.
Spójrz na zwrócony status i otrzymaną zawartość, aby sprawdzić, czy roboty mogą odczytać plik.
Jeśli plik brakuje lub zwraca błąd, popraw jego lokalizację lub uprawnienia dostępu w witrynie.

Przykład

Po zmianie wyglądu witryny specjalista SEO może przetestować domenę, aby potwierdzić, że robots.txt nadal odpowiada. Wynik pomaga wykryć przekierowanie, stronę błędu lub pustą zawartość, zanim wyszukiwarki stracą dostęp do ważnych stron.

Ograniczenia i formaty

Status inny niż 200 może wynikać z zapory sieciowej, przekierowania lub niestandardowej strony błędu.
Wyświetlana zawartość może być skrócona przez narzędzie lub odpowiedź witryny, co utrudnia odczyt długich reguł.
Test nie pokazuje, czy roboty przestrzegają pliku; pokazuje tylko, co jest dostępne.
Prawidłowa odpowiedź nie gwarantuje, że każda ważna strona jest dozwolona.

Gdzie odbywa się przetwarzanie

Twoja domena jest wysyłana do serwera YOORfree, który następnie pobiera plik robots.txt z samej docelowej witryny. Żaden lokalny plik nie jest przesyłany, a status wraz z pobraną zawartością są zwracane do wyświetlenia.

Częste pytania

Co oznacza status 404 dla robots.txt?

Status 404 oznacza, że plik nie został znaleziony pod oczekiwanym adresem. Roboty mogą wtedy uznać, że witryna nie ma żadnych reguł. Sprawdź, czy plik znajduje się w katalogu głównym domeny i ma poprawną nazwę.

Dlaczego zawartość różni się od pliku w moim edytorze?

Witryna może udostępniać wersję z pamięci podręcznej, przekierowanie lub plik zmieniony na serwerze. Porównaj testowany adres z lokalnym plikiem, a następnie w razie potrzeby wyczyść pamięć podręczną przed ponownym uruchomieniem sprawdzenia.

Czy mogę przetestować subdomenę?

Tak, jeśli wprowadzisz pełną subdomenę. Każda subdomena może mieć własny plik robots.txt. Wynik dotyczy zatem tylko wprowadzonego hosta, a nie domeny głównej.

Czy test pokazuje, czy roboty wyszukiwarek stosują się do pliku robots.txt?

Nie. Test pokazuje jedynie, czy plik robots.txt jest osiągalny i co zwraca serwer docelowy. Nie sprawdza, czy roboty wyszukiwarek faktycznie stosują się do tych reguł. Nawet poprawna odpowiedź nie gwarantuje, że wszystkie ważne strony są dozwolone. Wynik zawsze odnieś do konkretnego adresu, który został sprawdzony, a nie do całej witryny.

Czy mogę przesłać własny plik robots.txt do sprawdzenia?

Nie. Nie przesyłasz żadnego pliku lokalnego. Wprowadzona domena jest wysyłana do serwera narzędzia, który następnie pobiera plik robots.txt z witryny docelowej. Narzędzie zwraca status i pobraną treść do wyświetlenia. Sprawdzasz więc rzeczywistą odpowiedź serwera, a nie plik z Twojego komputera.