Genera file robots.txt con editor visuale. Blocca bot, imposta regole di crawl, aggiungi sitemap โ con template per configurazioni comuni.
Tool UI component not found: dev/robots-txt
Informazioni su questo strumento
Il file robots.txt indica ai crawler dei motori di ricerca quali pagine possono e non possono accedere sul tuo sito web. Si trova nella directory root del sito ed e il primo file che qualsiasi crawler ben educato controlla prima di indicizzare i tuoi contenuti.
Un robots.txt mal configurato puo impedire a Google di indicizzare l'intero sito, o esporre accidentalmente pagine admin che volevi nascondere. Questo generatore ti aiuta a costruire un robots.txt corretto con un editor visuale โ aggiungi regole per bot, imposta percorsi allow/disallow, includi URL sitemap e usa template per configurazioni comuni.
Il file generato segue lo standard Robots Exclusion Protocol supportato da Google, Bing, Yandex e tutti i principali motori di ricerca.
Come usare
1. Inizia con un template o costruisci da zero
2. Aggiungi gruppi user-agent โ ogni gruppo e destinato a un bot specifico (o tutti i bot con *)
3. Aggiungi regole Allow e Disallow per ogni gruppo
4. Opzionalmente imposta Crawl-delay per i bot che lo supportano
5. Aggiungi i tuoi URL sitemap in fondo
6. Copia il robots.txt generato e caricalo nella directory root del tuo sito
Domande frequenti
Dove devo mettere il file robots.txt?
Il file robots.txt deve essere posizionato nella directory root del tuo sito web, accessibile su https://tuodominio.com/robots.txt. Non funzionera nelle sottodirectory.
Il robots.txt blocca le pagine dalla visualizzazione su Google?
Non esattamente. Il robots.txt blocca il crawling, non l'indicizzazione. Se altri siti linkano una pagina che hai bloccato, Google potrebbe comunque mostrarla nei risultati di ricerca (senza snippet). Per bloccare completamente l'indicizzazione, usa invece un meta tag 'noindex'.
Cosa significa 'User-agent: *'?
L'asterisco (*) e un carattere jolly che corrisponde a tutti i crawler. Le regole sotto 'User-agent: *' si applicano a ogni bot che non ha la propria sezione specifica nel file.
Devo bloccare i crawler AI come GPTBot?
Dipende dalle tue preferenze. Se non vuoi che i tuoi contenuti vengano usati per l'addestramento AI, puoi aggiungere 'User-agent: GPTBot' con 'Disallow: /' per bloccare il crawler di OpenAI. Regole simili esistono per altri bot AI come Google-Extended e CCBot.
Cos'e il Crawl-delay?
Il Crawl-delay indica ai bot di aspettare un numero specificato di secondi tra le richieste. E supportato da Bing e Yandex ma ignorato da Google. Usalo se il crawling aggressivo sta sovraccaricando il tuo server.
Posso usare i caratteri jolly nei percorsi robots.txt?
Google e Bing supportano caratteri jolly limitati: * corrisponde a qualsiasi sequenza di caratteri, e $ marca la fine di un URL. Per esempio, 'Disallow: /*.pdf$' blocca tutti i file PDF. Non tutti i bot supportano queste estensioni.
Come verificare se il robots.txt funziona correttamente?
Puoi usare lo strumento di test robots.txt in Google Search Console. Inserisci un URL e vedrai se e bloccato o consentito dalle tue regole. E anche utile controllare il log del server per vedere quali bot stanno accedendo al tuo sito.