robots.txt-Generator

Website-Verantwortliche und Content-Teams nutzen es vor der Veröffentlichung oder dem Teilen einer neuen Seite. Erstellen Sie eine robots.txt-Datei mit Sitemap.

Erstellen Sie eine robots.txt-Datei mit Sitemap. Das Ergebnis erscheint sofort kopierbereit in Ihrem Browser, ohne Anmeldung, Upload oder Speicherung.

Bedienung

Geben Sie die Basisadresse Ihrer Website ohne Seitenpfad ein, um die zu verwendende Domain anzugeben.
Führen Sie die Generierungsaktion aus, um robots.txt-Inhalt zu erstellen, der Regeln und den Speicherort der Sitemap enthält.
Lesen Sie den generierten Text und bestätigen Sie, dass Domain und Sitemap-Pfad zu Ihrer tatsächlichen Website passen.
Kopieren Sie das Ergebnis in eine Datei namens robots.txt und legen Sie sie dann im Stammverzeichnis Ihrer Website ab.

Beispiel

Das Beispiel verwendet eine einfache Domainadresse. Prüfen Sie nach der Generierung, ob die Sitemap-Zeile diese Domain widerspiegelt und ob die Anweisungen keine Seiten blockieren, die indexiert werden sollen.

Eingabe

https://example.com

Ergebnis

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Grenzen und Formate

Die generierte Datei muss im Domain-Stammverzeichnis veröffentlicht werden, damit sie von Suchmaschinen-Crawlern gelesen wird.
Ein Fehler in der Domain erzeugt eine Sitemap, die auf die falsche Website verweist, und kann das Crawling beeinträchtigen.
Eine robots.txt-Datei verhindert nicht, dass eine einer Suchmaschine bereits bekannte Seite indexiert wird, und ersetzt kein noindex-Tag.
Die generierten Regeln sind allgemein gehalten; passen Sie sie an, wenn Sie mehrere Subdomains verwalten oder Regeln für bestimmte Crawler benötigen.

Wo die Verarbeitung stattfindet

Der robots.txt-Inhalt wird in Ihrem Browser generiert. Die eingegebene Adresse verlässt Ihr Gerät nicht, nichts wird vom Tool gespeichert, und der Text kann direkt von der Seite kopiert werden.

Häufige Fragen

Wohin sollte ich die robots.txt-Datei legen?

Sie muss im Stammverzeichnis Ihrer Domain unter der üblichen robots.txt-Adresse erreichbar sein. Eine Datei in einem Unterordner wird von Crawlern nicht als Haupt-robots.txt-Datei behandelt.

Erstellt das Tool die Sitemap automatisch?

Es erzeugt eine Zeile, die anhand der eingegebenen Domain auf den Sitemap-Speicherort verweist. Die Sitemap-Datei selbst wird nicht erstellt. Sie benötigen weiterhin eine gültige Sitemap, die unter der angegebenen Adresse verfügbar ist.

Kann ich mit diesem Generator eine ganze Website blockieren?

Die generierte Datei enthält allgemeine Anweisungen. Wenn Sie die gesamte Website blockieren möchten, müssen Sie die passende Regel zur Datei hinzufügen oder das Ergebnis bearbeiten. Prüfen Sie den Inhalt immer, bevor Sie ihn veröffentlichen.