Generator robots.txt

Administratorii de site-uri și creatorii de conținut îl pot folosi înainte de publicarea ori distribuirea unei pagini. Creați un fișier robots.txt cu sitemap.

Creați un fișier robots.txt cu sitemap. Rezultatul apare imediat în browser, gata de copiat sau reutilizat, fără cont, încărcare ori stocare.

Cum se folosește

Introduceți adresa de bază a site-ului, fără calea unei pagini, pentru a indica domeniul de utilizat.
Rulați acțiunea de generare pentru a crea conținutul robots.txt care include reguli și locația hărții site-ului.
Citiți textul generat și confirmați că domeniul și calea hărții site-ului corespund site-ului dvs. real.
Copiați rezultatul într-un fișier numit robots.txt, apoi plasați-l în rădăcina site-ului dvs.

Exemplu

Exemplul folosește o adresă simplă de domeniu. După generare, verificați că linia hărții site-ului reflectă acel domeniu și că directivele nu blochează pagini pe care doriți să le indexați.

Date de intrare

https://example.com

Rezultat

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Limite și formate

Fișierul generat trebuie publicat în rădăcina domeniului pentru a fi citit de crawlerele motoarelor de căutare.
O greșeală în domeniu produce o hartă a site-ului care indică site-ul greșit și poate îngreuna crawlarea.
Un fișier robots.txt nu împiedică indexarea unei pagini deja cunoscute de un motor de căutare și nu înlocuiește un tag noindex.
Regulile generate sunt generale; ajustați-le dacă administrați mai multe subdomenii sau aveți nevoie de reguli pentru crawlere specifice.

Unde are loc procesarea

Conținutul robots.txt este generat în browser. Adresa introdusă nu părăsește dispozitivul dvs., instrumentul nu stochează nimic, iar textul este gata de copiat din pagină.

Întrebări frecvente

Unde ar trebui să pun fișierul robots.txt?

Trebuie să fie accesibil în rădăcina domeniului, la adresa obișnuită robots.txt. Un fișier plasat într-un subfolder nu va fi tratat de crawlere ca fișierul principal robots.txt.

Instrumentul creează automat harta site-ului?

Generează o linie care indică locația hărții site-ului pe baza domeniului introdus. Nu construiește fișierul hărții site-ului în sine. Aveți în continuare nevoie de o hartă validă disponibilă la adresa pe care o anunțați.

Pot bloca un întreg site cu acest generator?

Fișierul generat conține directive generale. Dacă doriți să blocați întregul site, trebuie să adăugați regula potrivită în fișier sau să editați rezultatul. Examinați întotdeauna conținutul înainte de a-l publica.