Gerador de robots.txt
Crie arquivos robots.txt para seu site.
Gerador de robots.txt: controle o rastreamento do seu site
O arquivo robots.txt é um arquivo de texto que indica aos rastreadores web (como o Googlebot) quais páginas do seu site podem ou não rastrear. É uma ferramenta fundamental de SEO técnico que deve estar localizada na raiz do seu domínio (exemplo.com/robots.txt). Nosso gerador cria robots.txt personalizados com as regras que seu site necessita.
A ferramenta permite definir regras específicas para diferentes user-agents (Googlebot, Bingbot, GPTBot, etc.), bloquear diretórios específicos (como /admin ou /privado), permitir o rastreamento de recursos necessários (CSS, JS) e incluir a localização do seu sitemap XML. Cada regra é traduzida automaticamente em sintaxe válida de robots.txt.
É importante entender que robots.txt bloqueia o rastreamento mas não a indexação: o Google pode indexar uma URL encontrada em links de outros sites mesmo sem rastrear seu conteúdo. Para evitar a indexação, use a meta tag noindex. Para bloquear bots de IA como GPTBot (OpenAI), ClaudeBot (Anthropic) ou outros, pode adicionar regras específicas de Disallow.
Perguntas frequentes
Onde devo colocar o arquivo robots.txt?
O arquivo robots.txt deve estar na raiz do seu domínio, acessível na URL exemplo.com/robots.txt. Os bots buscam o arquivo nesta localização exata. Se usa subdomínios, cada um precisa do seu próprio robots.txt.
O robots.txt impede que minhas páginas apareçam no Google?
Não completamente. O robots.txt bloqueia o rastreamento, mas o Google pode indexar uma URL se a encontrar em links de outros sites, embora não possa ver seu conteúdo. Para evitar a indexação, use a meta tag noindex na página. Robots.txt e noindex têm propósitos diferentes e complementares.
Posso bloquear bots de IA como o ChatGPT?
Sim. Pode adicionar regras específicas para User-agent: GPTBot e User-agent: ChatGPT-User com Disallow: / para bloquear os rastreadores da OpenAI. De forma similar, ClaudeBot é o user-agent da Anthropic. No entanto, nem todos os bots de IA respeitam o robots.txt.
Quer saber mais? Leia nosso guia completo →