Erreichbarkeit von robots.txt prüfen

SEO-Fachleute und Websitebetreiber verwenden dies nach einer Veröffentlichung oder wenn Suchmaschinen wichtige Seiten plötzlich nicht mehr crawlen.

Erfahren Sie, ob robots.txt antwortet, welchen Status die Datei liefert und was Crawler erhalten, damit eine Sperre schnell auffällt.

Bedienung

Geben Sie die Domain der Website ein, deren robots.txt-Datei Sie prüfen möchten, ohne einen Seitenpfad hinzuzufügen.
Starten Sie den Test, damit der externe Dienst die Datei von der Zielwebsite abrufen kann.
Betrachten Sie den zurückgegebenen Status und den empfangenen Inhalt, um zu sehen, ob Crawler die Datei lesen können.
Wenn die Datei fehlt oder einen Fehler zurückgibt, korrigieren Sie ihren Speicherort oder die Zugriffsberechtigungen auf der Website.

Beispiel

Nach einer Neugestaltung kann ein SEO-Manager die Domain testen, um zu bestätigen, dass robots.txt weiterhin antwortet. Das Ergebnis hilft, eine Weiterleitung, eine Fehlerseite oder leeren Inhalt zu erkennen, bevor Suchmaschinen den Zugriff auf wichtige Seiten verlieren.

Grenzen und Formate

Ein anderer Status als 200 kann von einer Firewall, einer Weiterleitung oder einer benutzerdefinierten Fehlerseite stammen.
Der angezeigte Inhalt kann durch das Tool oder die Antwort der Website gekürzt werden, wodurch lange Regeln schwerer zu lesen sind.
Der Test zeigt nicht, ob Crawler die Datei befolgen; er zeigt nur, was erreichbar ist.
Eine korrekte Antwort garantiert nicht, dass jede wichtige Seite erlaubt ist.

Wo die Verarbeitung stattfindet

Ihre Domain wird an den YOORfree-Server gesendet, der dann die robots.txt-Datei von der Zielwebsite selbst abruft. Es wird keine lokale Datei hochgeladen, und der Status sowie der abgerufene Inhalt werden zur Anzeige zurückgegeben.

Häufige Fragen

Was bedeutet ein 404-Status für robots.txt?

Ein 404-Status bedeutet, dass die Datei unter der erwarteten Adresse nicht gefunden wird. Crawler können die Website dann so behandeln, als hätte sie keine Regeln. Prüfen Sie, ob die Datei im Domain-Stammverzeichnis liegt und den richtigen Dateinamen hat.

Warum unterscheidet sich der Inhalt von der Datei in meinem Editor?

Die Website kann eine zwischengespeicherte Version, eine Weiterleitung oder eine auf dem Server geänderte Datei ausliefern. Vergleichen Sie die getestete Adresse mit Ihrer lokalen Datei und leeren Sie bei Bedarf den Cache, bevor Sie die Prüfung erneut ausführen.

Kann ich eine Subdomain testen?

Ja, wenn Sie die vollständige Subdomain eingeben. Jede Subdomain kann eine eigene robots.txt-Datei haben. Das Ergebnis gilt daher nur für den eingegebenen Host, nicht für die Hauptdomain.