robots.txt-generator

Webbplatsansvariga och innehållsskapare använder detta innan en sida publiceras eller förbereds för delning. Skapa en robots.txt-fil med webbplatskarta.

Skapa en robots.txt-fil med webbplatskarta. Resultatet visas direkt i webbläsaren, klart att kopiera, utan konto, uppladdning eller lagring.

Så använder du

Ange basadressen för din webbplats, utan en sidsökväg, för att visa vilken domän som ska användas.
Kör genereringsåtgärden för att skapa robots.txt-innehåll som innehåller regler och sitemap-platsen.
Läs den genererade texten och bekräfta att domänen och sitemap-sökvägen matchar din faktiska webbplats.
Kopiera resultatet till en fil med namnet robots.txt och placera den sedan i roten av din webbplats.

Exempel

Exemplet använder en enkel domänadress. Efter genereringen kontrollerar du att sitemap-raden återspeglar den domänen och att direktiven inte blockerar sidor som du vill ska indexeras.

Indata

https://example.com

Resultat

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Gränser och format

Den genererade filen måste publiceras i domänens rot för att läsas av sökmotorernas crawlers.
Ett fel i domänen ger en sitemap som pekar på fel webbplats och kan hindra genomsökning.
En robots.txt-fil hindrar inte en sida som redan är känd av en sökmotor från att indexeras och ersätter inte en noindex-tagg.
De genererade reglerna är breda; justera dem om du hanterar flera underdomäner eller behöver regler för specifika crawlers.

Var bearbetningen sker

Innehållet i robots.txt genereras i din webbläsare. Adressen du anger lämnar inte din enhet, ingenting lagras av verktyget, och texten är redo att kopieras från sidan.

Vanliga frågor

Var ska jag placera robots.txt-filen?

Den måste vara nåbar i roten av din domän, på den vanliga robots.txt-adressen. En fil som placeras i en undermapp kommer inte att behandlas som huvudfilen robots.txt av crawlers.

Skapar verktyget sitemap automatiskt?

Det genererar en rad som pekar på sitemap-platsen baserat på domänen du anger. Det bygger inte själva sitemap-filen. Du behöver fortfarande en giltig sitemap på den adress du meddelar.

Kan jag blockera en hel webbplats med den här generatorn?

Den genererade filen innehåller allmänna direktiv. Om du vill blockera hela webbplatsen måste du lägga till motsvarande regel i filen eller redigera resultatet. Granska alltid innehållet innan du publicerar det.