URL-Freigabe nach robots.txt-Regeln

Website-Verantwortliche und Indexierungsteams können eine URL vor dem Start prüfen, wenn ihre Behandlung durch robots.txt unklar ist.

Klären Sie anhand Ihrer robots.txt-Regeln, ob eine URL erlaubt ist, damit eine unerwartete Sperre noch vor der Veröffentlichung auffällt.

Bedienung

Fügen Sie den Inhalt Ihrer robots.txt-Datei in den ersten Teil des Eingabebereichs ein.
Fügen Sie das vom Tool angezeigte Trennzeichen hinzu und geben Sie dann den zu testenden Pfad oder die Adresse im zweiten Teil ein.
Führen Sie den Test aus, um zu sehen, ob der Pfad gemäß den von Ihnen angegebenen Regeln erlaubt oder blockiert ist.
Wenn das Ergebnis überraschend ist, ändern Sie die Regeln oder den Pfad und testen Sie erneut, um die Ergebnisse zu vergleichen.

Beispiel

Das Beispiel kombiniert eine Regel, die einen Ordner blockiert, mit einem Pfad innerhalb dieses Ordners. Prüfen Sie nach dem Test, ob die angezeigte Entscheidung zur Regel passt und ob der ausgewählte Crawler derjenige ist, den Sie prüfen wollten.

Eingabe

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Grenzen und Formate

Der Test verwendet nur den von Ihnen eingefügten robots.txt-Inhalt, nicht die tatsächlich auf einer Live-Domain veröffentlichte Datei.
Regeln hängen von Reihenfolge und Präfix ab: Eine spezifischere Regel kann die Entscheidung für denselben Pfad ändern.
Das Tool überprüft nicht, ob Suchmaschinen-Crawler Ihre Anweisungen tatsächlich befolgen.
Ein hier erlaubter Pfad kann dennoch aufgrund eines noindex-Tags, eines Passworts oder eines anderen Signals aus den Suchergebnissen herausfallen.

Wo die Verarbeitung stattfindet

Die Prüfung läuft lokal in Ihrem Browser. Der robots.txt-Inhalt und der getestete Pfad bleiben auf Ihrem Gerät, es erfolgt keine Anfrage an eine externe Website, und die Entscheidung erscheint direkt auf der Seite.

Häufige Fragen

Warum stimmt der Test nicht mit dem überein, was Google tut?

Der Test wendet die von Ihnen eingefügten Regeln an. Google verwendet möglicherweise eine andere Version der Datei, stützt sich auf eine zwischengespeicherte Kopie oder berücksichtigt andere Signale. Prüfen Sie die tatsächlich online erreichbare Datei, bevor Sie Schlüsse ziehen.

Ist das Trennzeichen zwischen Regeln und Pfad erforderlich?

Ja, das Tool benötigt eine klare Trennung zwischen dem robots.txt-Inhalt und dem getesteten Pfad. Ohne sie können die beiden Teile nicht auseinandergehalten werden, und das Ergebnis kann inkonsistent oder nicht erzeugbar sein.

Kann ich mehrere Adressen gleichzeitig testen?

Das Tool verarbeitet normalerweise jeweils einen Pfad. Um mehrere Adressen zu prüfen, führen Sie den Test für jeden Pfad erneut aus und notieren Sie die Entscheidungen. Das hilft, Regeln zu erkennen, die zu allgemein oder schlecht geordnet sind.