Generator robots.txt

Właściciele witryn i twórcy treści mogą użyć tego przed publikacją strony albo przygotowaniem jej do udostępnienia. Utwórz plik robots.txt z mapą witryny.

Utwórz plik robots.txt z mapą witryny. Wynik jest od razu gotowy do skopiowania w przeglądarce, bez konta, przesyłania ani zapisywania danych.

Jak używać

Wprowadź adres bazowy swojej witryny, bez ścieżki strony, aby wskazać domenę do użycia.
Uruchom akcję generowania, aby utworzyć zawartość robots.txt obejmującą reguły i lokalizację mapy witryny.
Przeczytaj wygenerowany tekst i potwierdź, że domena oraz ścieżka mapy witryny odpowiadają Twojej rzeczywistej witrynie.
Skopiuj wynik do pliku o nazwie robots.txt, a następnie umieść go w katalogu głównym swojej witryny.

Przykład

Przykład używa prostego adresu domeny. Po wygenerowaniu sprawdź, czy wiersz mapy witryny odzwierciedla tę domenę i czy dyrektywy nie blokują stron, które chcesz indeksować.

Dane wejściowe

https://example.com

Wynik

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Ograniczenia i formaty

Wygenerowany plik musi zostać opublikowany w katalogu głównym domeny, aby roboty wyszukiwarek mogły go odczytać.
Błąd w domenie powoduje, że mapa witryny wskazuje niewłaściwą stronę i może utrudniać indeksowanie.
Plik robots.txt nie zapobiega indeksowaniu strony już znanej wyszukiwarce i nie zastępuje tagu noindex.
Wygenerowane reguły są ogólne; dostosuj je, jeśli zarządzasz kilkoma subdomenami lub potrzebujesz reguł dla konkretnych robotów.

Gdzie odbywa się przetwarzanie

Zawartość robots.txt jest generowana w przeglądarce. Wprowadzony adres nie opuszcza Twojego urządzenia, narzędzie niczego nie przechowuje, a tekst jest gotowy do skopiowania ze strony.

Częste pytania

Gdzie należy umieścić plik robots.txt?

Musi być dostępny w katalogu głównym domeny, pod zwykłym adresem robots.txt. Plik umieszczony w podfolderze nie będzie traktowany przez roboty jako główny plik robots.txt.

Czy narzędzie automatycznie tworzy mapę witryny?

Generuje wiersz wskazujący lokalizację mapy witryny na podstawie wprowadzonej domeny. Nie tworzy samego pliku mapy witryny. Nadal potrzebujesz prawidłowej mapy witryny dostępnej pod ogłaszanym adresem.

Czy mogę zablokować całą witrynę za pomocą tego generatora?

Wygenerowany plik zawiera ogólne dyrektywy. Jeśli chcesz zablokować całą witrynę, musisz dodać odpowiednią regułę do pliku lub edytować wynik. Zawsze przejrzyj zawartość przed jej opublikowaniem.

Czy wygenerowany plik robots.txt może zastąpić znacznik noindex?

Nie. Plik robots.txt nie zastępuje znacznika noindex. Jeśli strona jest już znana wyszukiwarce, sama obecność tego pliku nie musi przeszkodzić w jej indeksowaniu. Narzędzie tworzy ogólne reguły i wskazanie mapy witryny, ale nie usuwa stron z indeksu. Aby uzyskać taki efekt, trzeba zastosować odpowiednie rozwiązanie po stronie strony, a nie tylko wpis w robots.txt.

Czy adres, który wpisuję, jest wysyłany na serwer?

Nie. Treść robots.txt jest generowana w Twojej przeglądarce. Adres, który wpisujesz, nie opuszcza Twojego urządzenia, nie jest przechowywany przez narzędzie i od razu możesz skopiować gotowy tekst ze strony. Działa lokalnie i nie wymaga konta, więc możesz przygotować plik bez wysyłania wewnętrznych adresów testowych do zewnętrznego serwera.