Verificador de robots.txt
Lê o /robots.txt do domínio e separa diretivas Allow/Disallow por user-agent, incluindo bots de IA.
Como funciona o robots.txt
Buscamos o /robots.txt na raiz do domínio e fazemos o parsing seguindo a RFC 9309. Separamos as regras por user-agent (Googlebot, Bingbot, GPTBot…), listamos Allow/Disallow, crawl-delay e sitemaps.
É a forma mais rápida de pegar bloqueios acidentais — caso comum: um Disallow: / herdado de ambiente de dev impedindo a indexação da loja.
Perguntas frequentes
Para que serve o robots.txt?
É um arquivo de texto na raiz do domínio que informa aos bots de busca quais áreas eles podem ou não rastrear. Sem robots.txt, tudo é rastreável por padrão. Não é um mecanismo de segurança — apenas uma sugestão que bots éticos respeitam.
Devo bloquear o Google em alguma página?
Sim, em páginas que não geram valor SEO: carrinho, checkout, área do cliente, busca interna, parâmetros de filtros e admin. Mas nunca bloqueie /sitemap.xml nem páginas importantes. Use nosso gerador de robots.txt para um arquivo seguro.
Como bloqueio o ChatGPT e o Claude de treinarem com meu conteúdo?
Adicione user-agents específicos no robots.txt: GPTBot (OpenAI), ChatGPT-User, ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended (Gemini), PerplexityBot. Nosso gerador de robots.txt tem checkbox para cada um.
Onde devo colocar o robots.txt?
Na raiz absoluta do domínio: https://sua-loja.com.br/robots.txt. NÃO funciona em subdiretórios (/loja/robots.txt) ou subdomínios herdam o do domínio raiz — cada subdomínio precisa do seu próprio.
Referências oficiais
Fontes primárias usadas na construção desta ferramenta. Use-as para aprofundar ou validar os critérios técnicos.
- Google Search Central — Introdução ao robots.txt
Google Search Central
- ClaudeBot — User-agent da Anthropic
Anthropic
Ferramentas relacionadas
Gerar robots.txt
Monte um robots.txt seguro para sua loja virtual marcando o que pode e o que não pode ser rastreado.
Abrir
Sitemap
Carregue seu sitemap.xml e descubra quantas URLs estão indexáveis e quais retornam erro.
Abrir
SEO on-page
Auditoria instantânea de title, description, canonical, headings, imagens sem alt e mais.
Abrir