Testează accesibilitatea fișierului robots.txt

Pentru proprietarii de site-uri și specialiștii SEO care vor să excludă blocarea accidentală a roboților după lansare sau migrare.

Află dacă robots.txt este accesibil și ce răspuns primesc motoarele de căutare. Detectează blocajele înainte ca indexarea să fie afectată.

Cum se folosește

Introduceți domeniul site-ului al cărui fișier robots.txt doriți să îl verificați, fără a adăuga calea unei pagini.
Porniți testul pentru ca serviciul la distanță să poată prelua fișierul de pe site-ul țintă.
Uitați-vă la statusul returnat și la conținutul primit pentru a vedea dacă crawlerele pot citi fișierul.
Dacă fișierul lipsește sau returnează o eroare, corectați locația sau permisiunile de acces pe site.

Exemplu

După o reproiectare, un specialist SEO poate testa domeniul pentru a confirma că robots.txt răspunde în continuare. Rezultatul ajută la detectarea unei redirecționări, a unei pagini de eroare sau a conținutului gol înainte ca motoarele de căutare să piardă accesul la pagini importante.

Limite și formate

Un status diferit de 200 poate proveni de la un firewall, o redirecționare sau o pagină de eroare personalizată.
Conținutul afișat poate fi scurtat de instrument sau de răspunsul site-ului, ceea ce face regulile lungi mai greu de citit.
Testul nu arată dacă crawlerele respectă fișierul; arată doar ce este accesibil.
Un răspuns corect nu garantează că fiecare pagină importantă este permisă.

Unde are loc procesarea

Domeniul dvs. este trimis către serverul YOORfree, care apoi preia fișierul robots.txt chiar de pe site-ul țintă. Niciun fișier local nu este încărcat, iar statusul împreună cu conținutul recuperat sunt returnate pentru afișare.

Întrebări frecvente

Ce înseamnă un status 404 pentru robots.txt?

Un status 404 înseamnă că fișierul nu este găsit la adresa așteptată. Crawlerele pot trata apoi site-ul ca neavând reguli. Verificați că fișierul este în rădăcina domeniului și are numele corect.

De ce conținutul diferă de fișierul din editorul meu?

Site-ul poate servi o versiune din cache, o redirecționare sau un fișier modificat pe server. Comparați adresa testată cu fișierul local, apoi ștergeți cache-ul dacă este necesar înainte de a rula din nou verificarea.

Pot testa un subdomeniu?

Da, dacă introduceți subdomeniul complet. Fiecare subdomeniu poate avea propriul fișier robots.txt. Prin urmare, rezultatul se aplică doar gazdei introduse, nu domeniului principal.