robots.txt-generator

Websitebeheerders en contentmakers gebruiken dit voordat zij een pagina publiceren of voor delen gereedmaken. Maak een robots.txt-bestand met sitemap.

Maak een robots.txt-bestand met sitemap. Het resultaat staat meteen kopieerklaar in je browser, zonder account, upload of opslag van gegevens.

Hoe te gebruiken

Voer het basisadres van uw site in, zonder paginapad, om het te gebruiken domein aan te geven.
Voer de genereeractie uit om robots.txt-inhoud te maken met regels en de locatie van de sitemap.
Lees de gegenereerde tekst en bevestig dat het domein en het sitemappad overeenkomen met uw werkelijke site.
Kopieer het resultaat naar een bestand met de naam robots.txt en plaats het in de hoofdmap van uw website.

Voorbeeld

Het voorbeeld gebruikt een eenvoudig domeinadres. Controleer na het genereren of de sitemapregel dat domein weergeeft en of de richtlijnen geen pagina's blokkeren die u wilt laten indexeren.

Invoer

https://example.com

Resultaat

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Limieten en formaten

Het gegenereerde bestand moet in de hoofdmap van het domein worden gepubliceerd om door crawlers van zoekmachines te worden gelezen.
Een fout in het domein levert een sitemap op die naar de verkeerde site verwijst en kan het crawlen belemmeren.
Een robots.txt-bestand voorkomt niet dat een pagina die al bekend is bij een zoekmachine wordt geïndexeerd, en vervangt geen noindex-tag.
De gegenereerde regels zijn algemeen; pas ze aan als u meerdere subdomeinen beheert of regels voor specifieke crawlers nodig hebt.

Waar de verwerking gebeurt

De robots.txt-inhoud wordt in uw browser gegenereerd. Het adres dat u invoert, verlaat uw apparaat niet, er wordt niets door de tool opgeslagen, en de tekst kan direct van de pagina worden gekopieerd.

Veelgestelde vragen

Waar moet ik het robots.txt-bestand plaatsen?

Het moet bereikbaar zijn in de hoofdmap van uw domein, op het gebruikelijke robots.txt-adres. Een bestand in een submap wordt door crawlers niet als het hoofdbestand robots.txt behandeld.

Maakt de tool de sitemap automatisch aan?

Het genereert een regel die op basis van het ingevoerde domein naar de sitemaplocatie verwijst. Het bouwt het sitemapbestand zelf niet. U hebt nog steeds een geldige sitemap nodig die beschikbaar is op het adres dat u aankondigt.

Kan ik met deze generator een hele site blokkeren?

Het gegenereerde bestand bevat algemene richtlijnen. Als u de hele site wilt blokkeren, moet u de bijbehorende regel aan het bestand toevoegen of het resultaat bewerken. Controleer de inhoud altijd voordat u deze publiceert.