⚡

Gerador de Robots.txt

Gere arquivos robots.txt com editor visual. Bloqueie bots, defina regras de crawling, adicione sitemaps — com templates para configurações comuns.

Tool UI component not found: dev/robots-txt

Sobre esta ferramenta

O arquivo robots.txt diz aos crawlers de mecanismos de busca quais páginas eles podem e não podem acessar no seu site. Ele fica no diretório raiz do site e é o primeiro arquivo que qualquer crawler bem-comportado verifica antes de indexar seu conteúdo. Um robots.txt mal configurado pode bloquear o Google de indexar seu site inteiro, ou acidentalmente expor páginas de admin que você queria esconder. Este gerador ajuda você a criar um robots.txt correto com um editor visual — adicione regras por bot, defina caminhos allow/disallow, inclua URLs de sitemap e use templates para configurações comuns. O arquivo gerado segue o padrão Robots Exclusion Protocol suportado por Google, Bing, Yandex e todos os principais mecanismos de busca.

Como usar

1. Comece com um template ou construa do zero 2. Adicione grupos de user-agent — cada grupo é para um bot específico (ou todos os bots com *) 3. Adicione regras Allow e Disallow para cada grupo 4. Opcionalmente defina Crawl-delay para bots que suportam 5. Adicione URL(s) do seu sitemap no final 6. Copie o robots.txt gerado e faça upload na raiz do seu site

Formula

Formato do arquivo robots.txt: User-agent: * # Aplica a todos os bots Disallow: /admin/ # Bloqueia pasta admin Disallow: /private/ # Bloqueia pasta private Allow: /public/ # Permite explicitamente (opcional) User-agent: Googlebot # Regras específicas para Google Allow: / # Permite tudo Sitemap: https://seusite.com/sitemap.xml

Perguntas frequentes

Onde coloco o arquivo robots.txt?
O arquivo robots.txt deve ficar no diretório raiz do seu site, acessível em https://seudominio.com/robots.txt. Ele não funciona em subdiretórios. Se seu site está em subdomínio, cada subdomínio precisa do seu próprio robots.txt.
O robots.txt impede páginas de aparecer no Google?
Não exatamente. Robots.txt bloqueia CRAWLING, não INDEXAÇÃO. Se outros sites linkam para uma página que você bloqueou, o Google ainda pode mostrá-la nos resultados (sem snippet). Para bloquear indexação completamente, use a meta tag 'noindex' na página.
O que significa 'User-agent: *'?
O asterisco (*) é um curinga que combina com todos os crawlers. Regras sob 'User-agent: *' aplicam a todo bot que não tenha sua própria seção específica no arquivo.
Devo bloquear crawlers de IA como GPTBot?
Depende da sua preferência. Se você não quer seu conteúdo usado para treinar IA, adicione 'User-agent: GPTBot' com 'Disallow: /' para bloquear o crawler da OpenAI. Regras similares existem para outros bots de IA como Google-Extended e CCBot.
O que é Crawl-delay?
Crawl-delay pede aos bots que esperem um número específico de segundos entre requisições. É suportado por Bing e Yandex mas ignorado pelo Google. Use se crawling agressivo está sobrecarregando seu servidor.
Posso usar curingas nos caminhos do robots.txt?
Google e Bing suportam curingas limitados: * combina qualquer sequência de caracteres, e $ marca o fim de uma URL. Por exemplo, 'Disallow: /*.pdf$' bloqueia todos os arquivos PDF. Nem todos os bots suportam essas extensões.
Como bloquear uma pasta inteira?
Use 'Disallow: /nome-da-pasta/' (com barra no final). Isso bloqueia a pasta e tudo dentro dela. Exemplo: 'Disallow: /wp-admin/' bloqueia toda a área administrativa do WordPress.
Como verificar se meu robots.txt está funcionando?
Use a ferramenta de teste do Google Search Console (antiga Webmaster Tools). Cole seu robots.txt e uma URL para verificar se está bloqueada ou permitida. Você também pode acessar seusite.com/robots.txt direto no navegador para confirmar que está no lugar certo.

Ferramentas relacionadas

Gerador de Expressão Cron

Monte e explique expressões cron visualmente. Gere agendamentos cron e veja descrições em português.

Calculadora de Permissões Chmod

Calcule permissões de arquivos Linux (chmod 755, 644, 777). Converta entre notação octal e simbólica. Gere o comando chmod pronto para copiar.