Instalar o plugin
Ajuda›Laboratório de IA›Gerador de robots.txt

Gerador de robots.txt robots.txt

Quais bots podem o quê? O gerador monta seu robots.txt em quatro passos: gerar, verificar, testar, comparar. Tudo local, só o robots.txt do seu site é lido.

/pt-br/help/ai-lab/robots-txt-generator/Laboratório de IA · experimentalAtualizado: 09/11/2026
Experimental. As ferramentas baseiam-se em informações públicas dos provedores de IA, estudos atuais, avaliações publicadas por especialistas em IA e SEO e na experiência prática de donos de sites. As plataformas de IA não revelam seus critérios, por isso os resultados são aproximações, experiência e observações.

1O que é?

Gerar: escolha um modelo (WordPress, WooCommerce, Shopware, Joomla, staging), marque os bots por grupo, linha Sitemap e comentários no seu idioma. Verificar: o robots.txt atual quanto a erros de digitação, CSS bloqueado, sitemap ausente e contradições. Testar: conferir uma URL contra as regras, pela regra do Google (o caminho correspondente mais longo vence). Comparar: antigo contra novo como diff.

2Por que importa?

Um erro como “Disalow” é ignorado em silêncio. Um Disallow: / deixado do staging tira o site inteiro da busca. E quem bloqueia todos os bots de IA some também da busca com IA, não só do treinamento.

3O que o TagSpion verifica

VerificaçãoAvaliação
Grupos de botsmecanismos de busca, busca com IA e consultas, coletores (treinamento), crawlers de ferramentas SEO, arquivo. Nomeados por função, sem julgamento.
Verificarerros de digitação, diretivas desconhecidas, Crawl-delay, noindex no robots.txt, CSS ou JS bloqueados, wp-admin sem admin-ajax, Disallow: / para todos, sem sitemap, acima de 500 KB
Testarpermitido ou bloqueado por bot, com a linha que vale

4Como resolver

  • Salve o arquivo como robots.txt e coloque na raiz do domínio: https://www.example.com/robots.txt
  • Depois de enviar, confira as URLs mais importantes na aba “Testar”.
  • Remova o modelo de staging antes de publicar.
# robots.txt - AI search allowed, training blocked
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Training bots (your decision, no effect on visibility)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot

Sitemap: https://www.example.com/sitemap.xml

5Perguntas frequentes

Devo bloquear bots de IA?
Decisão sua. Bloquear treinamento (GPTBot, ClaudeBot, Google-Extended) não custa visibilidade. Bloquear a busca com IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) tira você das respostas de IA.
Todos os bots respeitam o robots.txt?
Os grandes provedores sim, segundo eles mesmos. O robots.txt é um pedido, não uma trava. Quem quer bloquear com certeza precisa de regras no servidor.
O que são os sinais (Content-Signal, Content-Usage)?
Propostas da Cloudflare e da IETF para declarar o uso. Não é padrão, em teste. O TagSpion os mostra, não afetam a nota.
‹ VoltarAtualidade