Diretório de bots Bot Directory
Quem está batendo na porta? O diretório lista todos os bots conhecidos com sua função, se estão permitidos na sua página e onde fica a documentação oficial.
Experimental. As ferramentas baseiam-se em informações públicas dos provedores de IA, estudos atuais, avaliações publicadas por especialistas em IA e SEO e na experiência prática de donos de sites. As plataformas de IA não revelam seus critérios, por isso os resultados são aproximações, experiência e observações.
1O que é?
Cada linha mostra o user agent, o operador, o grupo (mecanismo de busca, busca com IA e consultas, coletor para treinamento, crawler de ferramenta SEO, arquivo), o status segundo o seu robots.txt e o link para a documentação do provedor.
2Por que importa?
Muitos bloqueiam “a IA” em bloco e não percebem que assim excluem também a busca com IA. Quem conhece os bots pode decidir com precisão.
3O que o TagSpion verifica
| Verificação | Avaliação |
|---|---|
| Status por bot | permitido ou bloqueado para a página atual, conforme RFC 9309 |
| Grupos | nomeados por função, sem julgamento |
Todos os bots de relance
Mecanismos de busca
Busca clássica, base das respostas de IA
| Bot (user agent) | Operador | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
Busca com IA e consultas
Lê páginas para respostas de IA e a pedido do usuário
| Bot (user agent) | Operador | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Coletores (treinamento)
Coleta conteúdo para treinar modelos
| Bot (user agent) | Operador | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
Crawlers de ferramentas SEO
Coleta backlinks e dados para ferramentas SEO
| Bot (user agent) | Operador | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Arquivo
Arquiva páginas (Wayback Machine)
| Bot (user agent) | Operador | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Como resolver
- Decida por grupo e aplique no gerador de robots.txt.
- Se um bot é autêntico só se vê comparando com as listas oficiais de IP dos provedores, não pelo user agent.
5Perguntas frequentes
Por que nenhum grupo se chama “bots ruins”?
Porque o TagSpion não julga empresas. Um crawler de SEO é útil para um e peso para outro. Você decide.
Falta um bot?
Escreva para tagspion@outlook.com com um link para a documentação do provedor.