Generatore robots.txt

Responsabili di siti e autori di contenuti possono usarlo prima di pubblicare una pagina o prepararla per la condivisione. Crea un file robots.txt con sitemap.

Crea un file robots.txt con sitemap. Il risultato appare subito nel browser, pronto da copiare, senza account e senza caricare o salvare dati.

Come si usa

Inserisci l'indirizzo di base del tuo sito, senza un percorso di pagina, per indicare il dominio da usare.
Esegui l'azione di generazione per creare il contenuto di robots.txt che include regole e la posizione della sitemap.
Leggi il testo generato e conferma che il dominio e il percorso della sitemap corrispondano al tuo sito reale.
Copia il risultato in un file chiamato robots.txt, poi posizionalo nella radice del tuo sito web.

Esempio

Il campione usa un semplice indirizzo di dominio. Dopo la generazione, controlla che la riga della sitemap rifletta quel dominio e che le direttive non blocchino pagine che vuoi indicizzare.

Input

https://example.com

Risultato

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Limiti e formati

Il file generato deve essere pubblicato nella radice del dominio per essere letto dai crawler dei motori di ricerca.
Un errore nel dominio produce una sitemap che punta al sito sbagliato e può ostacolare la scansione.
Un file robots.txt non impedisce l'indicizzazione di una pagina già nota a un motore di ricerca e non sostituisce un tag noindex.
Le regole generate sono ampie; adattale se gestisci diversi sottodomini o se hai bisogno di regole per crawler specifici.

Dove avviene il trattamento

Il contenuto di robots.txt viene generato nel tuo browser. L'indirizzo che inserisci non lascia il tuo dispositivo, nulla viene memorizzato dallo strumento e il testo è pronto per essere copiato dalla pagina.

Domande frequenti

Dove devo mettere il file robots.txt?

Deve essere raggiungibile nella radice del tuo dominio, all'indirizzo abituale di robots.txt. Un file inserito in una sottocartella non verrà considerato il file robots.txt principale dai crawler.

Lo strumento crea la sitemap automaticamente?

Genera una riga che punta alla posizione della sitemap in base al dominio che inserisci. Non crea il file sitemap stesso. Hai comunque bisogno di una sitemap valida disponibile all'indirizzo che annunci.

Posso bloccare un intero sito con questo generatore?

Il file generato contiene direttive generali. Se vuoi bloccare l'intero sito, devi aggiungere la regola corrispondente al file o modificare il risultato. Rivedi sempre il contenuto prima di pubblicarlo.