Directorio de bots Bot Directory
¿Quién llama a la puerta? El directorio lista todos los bots conocidos con su función, si están permitidos en tu página y dónde está la documentación oficial.
1¿Qué es?
Cada fila muestra el user agent, el operador, el grupo (buscador, búsqueda IA y consultas, recolector para entrenamiento, rastreador de herramientas SEO, archivo), el estado según tu robots.txt y el enlace a la documentación del proveedor.
2¿Por qué importa?
Muchos bloquean «la IA» en bloque y no notan que así también dejan fuera a la búsqueda IA. Quien conoce los bots puede decidir con precisión.
3Qué comprueba TagSpion
| Comprobación | Valoración |
|---|---|
| Estado por bot | permitido o bloqueado para la página actual, según RFC 9309 |
| Grupos | nombrados por función, sin juicios |
Todos los bots de un vistazo
Búsqueda clásica, base de las respuestas de IA
| Bot (user agent) | Operador | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
Lee páginas para respuestas de IA y a petición del usuario
| Bot (user agent) | Operador | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Recopila contenido para entrenar modelos
| Bot (user agent) | Operador | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
Recopila backlinks y datos para herramientas SEO
| Bot (user agent) | Operador | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Archiva páginas (Wayback Machine)
| Bot (user agent) | Operador | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Cómo solucionarlo
- Decide por grupo y aplícalo en el generador de robots.txt.
- Si un bot es auténtico solo lo muestra la comparación con las listas de IP oficiales de los proveedores, no el user agent.