Annuaire des bots Bot Directory
Qui frappe à la porte ? L'annuaire liste tous les bots connus avec leur rôle, s'ils sont autorisés sur ta page et où se trouve la documentation officielle.
1Qu'est-ce que c'est ?
Chaque ligne montre le user agent, l'opérateur, le groupe (moteur de recherche, recherche IA et requêtes, collecteur pour l'entraînement, crawler d'outil SEO, archive), le statut selon ton robots.txt et le lien vers la documentation du fournisseur.
2Pourquoi c'est important
Beaucoup bloquent « l'IA » en bloc sans remarquer qu'ils excluent aussi la recherche IA. Qui connaît les bots peut décider précisément.
3Ce que TagSpion vérifie
| Vérification | Évaluation |
|---|---|
| Statut par bot | autorisé ou bloqué pour la page courante, selon RFC 9309 |
| Groupes | nommés par fonction, sans jugement |
Tous les bots en un coup d'œil
Recherche classique, base des réponses IA
| Bot (user agent) | Opérateur | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
Lit les pages pour les réponses IA et à la demande de l'utilisateur
| Bot (user agent) | Opérateur | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Collecte du contenu pour l'entraînement des modèles
| Bot (user agent) | Opérateur | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
Collecte des backlinks et des données pour les outils SEO
| Bot (user agent) | Opérateur | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Archive les pages (Wayback Machine)
| Bot (user agent) | Opérateur | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Comment corriger
- Décide par groupe et applique-le dans le générateur robots.txt.
- L'authenticité d'un bot ne se vérifie qu'avec les listes d'IP officielles des fournisseurs, pas avec le user agent.