Verifica la disponibilità di robots.txt

Utile agli specialisti SEO e ai proprietari che indagano problemi di scansione o controllano il file dopo una modifica del sito.

Scopri se robots.txt è raggiungibile, quale risposta restituisce il sito e se i crawler possono trovare le direttive che ti aspetti.

Come si usa

Inserisci il dominio del sito di cui vuoi controllare il file robots.txt, senza aggiungere un percorso di pagina.
Avvia il test in modo che il servizio remoto possa recuperare il file dal sito di destinazione.
Osserva lo stato restituito e il contenuto ricevuto per vedere se i crawler possono leggere il file.
Se il file manca o restituisce un errore, correggi la sua posizione o i permessi di accesso sul sito.

Esempio

Dopo un restyling, un responsabile SEO può testare il dominio per confermare che robots.txt risponda ancora. Il risultato aiuta a individuare un reindirizzamento, una pagina di errore o contenuto vuoto prima che i motori di ricerca perdano l'accesso a pagine importanti.

Limiti e formati

Uno stato diverso da 200 può derivare da un firewall, un reindirizzamento o una pagina di errore personalizzata.
Il contenuto mostrato può essere abbreviato dallo strumento o dalla risposta del sito, rendendo più difficile leggere regole lunghe.
Il test non mostra se i crawler obbediscono al file; mostra solo ciò che è raggiungibile.
Una risposta corretta non garantisce che ogni pagina importante sia consentita.

Dove avviene il trattamento

Il tuo dominio viene inviato al server YOORfree, che poi recupera il file robots.txt dal sito di destinazione stesso. Nessun file locale viene caricato e lo stato insieme al contenuto recuperato vengono restituiti per la visualizzazione.

Domande frequenti

Cosa significa uno stato 404 per robots.txt?

Uno stato 404 significa che il file non viene trovato all'indirizzo previsto. I crawler possono quindi considerare il sito come privo di regole. Controlla che il file sia nella radice del dominio e che abbia il nome corretto.

Perché il contenuto è diverso dal file nel mio editor?

Il sito può servire una versione nella cache, un reindirizzamento o un file modificato sul server. Confronta l'indirizzo testato con il tuo file locale, poi svuota la cache se necessario prima di eseguire di nuovo il controllo.

Posso testare un sottodominio?

Sì, se inserisci il sottodominio completo. Ogni sottodominio può avere il proprio file robots.txt. Il risultato quindi si applica solo all'host che hai inserito, non al dominio principale.