Accesso a un URL secondo robots.txt

Serve a webmaster e tecnici che controllano una pagina prima della messa online, di una migrazione o di una modifica alle direttive.

Simula le regole di robots.txt su un URL e scopri se i crawler possono visitarlo, prima che un blocco involontario ne limiti la scansione.

Come si usa

Incolla il contenuto del tuo file robots.txt nella prima parte dell'area di input.
Aggiungi il separatore mostrato dallo strumento, poi digita il percorso o l'indirizzo che vuoi testare nella seconda parte.
Esegui il test per vedere se il percorso è consentito o bloccato secondo le regole che hai fornito.
Se il risultato è sorprendente, modifica le regole o il percorso e testa di nuovo per confrontare gli esiti.

Esempio

Il campione abbina una regola che blocca una cartella a un percorso all'interno di quella cartella. Dopo il test, controlla se la decisione mostrata corrisponde alla regola e se il crawler selezionato è quello che intendevi verificare.

Input

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

Limiti e formati

Il test usa solo il contenuto di robots.txt che incolli, non il file effettivamente pubblicato su un dominio live.
Le regole dipendono dall'ordine e dal prefisso: una regola più specifica può cambiare la decisione per lo stesso percorso.
Lo strumento non verifica se i crawler dei motori di ricerca obbediscono davvero alle tue direttive.
Un percorso consentito qui può comunque restare fuori dai risultati di ricerca a causa di un tag noindex, di una password o di un altro segnale.

Dove avviene il trattamento

Il controllo viene eseguito localmente nel tuo browser. Il contenuto di robots.txt e il percorso testato restano sul tuo dispositivo, senza richieste a un sito esterno, e la decisione appare direttamente nella pagina.

Domande frequenti

Perché il test non corrisponde a ciò che fa Google?

Il test applica le regole che hai incollato. Google può usare una versione diversa del file, basarsi su una copia nella cache o applicare altri segnali. Controlla il file realmente raggiungibile online prima di trarre conclusioni.

È obbligatorio il separatore tra regole e percorso?

Sì, lo strumento ha bisogno di una chiara separazione tra il contenuto di robots.txt e il percorso da testare. Senza di esso, le due parti non possono essere distinte e il risultato può essere incoerente o impossibile da produrre.

Posso testare più indirizzi contemporaneamente?

Lo strumento di solito gestisce un percorso alla volta. Per verificare più indirizzi, esegui di nuovo il test per ogni percorso e registra le decisioni. Questo aiuta a individuare regole troppo ampie o ordinate male.