Verificarea unei adrese în robots.txt

Îi sprijină pe administratorii de site și specialiștii SEO înainte de publicarea regulilor, când o adresă trebuie confruntată cu robots.txt.

Verifică dacă o adresă este permisă de regulile robots.txt înainte de a aplica o modificare. Afli clar dacă accesul este permis sau blocat.

Cum se folosește

Lipiți conținutul fișierului robots.txt în prima parte a zonei de introducere.
Adăugați separatorul afișat de instrument, apoi tastați calea sau adresa pe care doriți să o testați în a doua parte.
Rulați testul pentru a vedea dacă calea este permisă sau blocată conform regulilor furnizate.
Dacă rezultatul este surprinzător, modificați regulile sau calea și testați din nou pentru a compara rezultatele.

Exemplu

Exemplul asociază o regulă care blochează un folder cu o cale din interiorul acelui folder. După testare, verificați dacă decizia afișată corespunde regulii și dacă crawlerul selectat este cel pe care doreați să îl verificați.

Date de intrare

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Limite și formate

Testul folosește doar conținutul robots.txt pe care îl lipiți, nu fișierul publicat efectiv pe un domeniu activ.
Regulile depind de ordine și prefix: o regulă mai specifică poate schimba decizia pentru aceeași cale.
Instrumentul nu verifică dacă crawlerele motoarelor de căutare respectă cu adevărat directivele dvs.
O cale permisă aici poate rămâne în afara rezultatelor căutării din cauza unui tag noindex, a unei parole sau a altui semnal.

Unde are loc procesarea

Verificarea rulează local în browser. Conținutul robots.txt și calea testată rămân pe dispozitivul dvs., fără nicio cerere către un site extern, iar decizia apare direct în pagină.

Întrebări frecvente

De ce testul nu corespunde cu ceea ce face Google?

Testul aplică regulile pe care le-ați lipit. Google poate folosi o altă versiune a fișierului, se poate baza pe o copie din cache sau poate aplica alte semnale. Verificați fișierul care este efectiv accesibil online înainte de a trage concluzii.

Separatorul dintre reguli și cale este obligatoriu?

Da, instrumentul are nevoie de o separare clară între conținutul robots.txt și calea testată. Fără ea, cele două părți nu pot fi distinse, iar rezultatul poate fi inconsecvent sau imposibil de produs.

Pot testa mai multe adrese simultan?

Instrumentul gestionează de obicei o singură cale odată. Pentru a verifica mai multe adrese, rulați din nou testul pentru fiecare cale și înregistrați deciziile. Acest lucru ajută la detectarea regulilor prea generale sau prost ordonate.