Botoverzicht Bot Directory
Wie klopt er aan? Het overzicht toont alle bekende bots met hun functie, of ze op je pagina zijn toegestaan en waar de officiële documentatie staat.
Experimenteel. De hulpmiddelen zijn gebaseerd op openbare informatie van AI-aanbieders, actuele studies, gepubliceerde inschattingen van AI- en SEO-experts en praktijkervaring van sitebeheerders. AI-platforms maken hun criteria niet openbaar, de resultaten zijn daarom benaderingen, ervaring en observaties.
1Wat is het?
Elke regel toont de user agent, de beheerder, de groep (zoekmachine, AI-zoeken en aanvragen, verzamelaar voor training, crawler van een SEO-tool, archief), de status volgens je robots.txt en de link naar de documentatie van de aanbieder.
2Waarom belangrijk?
Velen blokkeren „de AI” in één keer en merken niet dat ze daarmee ook AI-zoeken buitensluiten. Wie de bots kent, kan gericht beslissen.
3Wat TagSpion controleert
| Controle | Beoordeling |
|---|---|
| Status per bot | toegestaan of geblokkeerd voor de huidige pagina, volgens RFC 9309 |
| Groepen | benoemd naar functie, zonder oordeel |
Alle bots in één oogopslag
Zoekmachines
Klassiek zoeken, basis voor AI-antwoorden
| Bot (user agent) | Beheerder | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
AI-zoeken en aanvragen
Leest pagina's voor AI-antwoorden en op verzoek van gebruikers
| Bot (user agent) | Beheerder | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Verzamelaars (training)
Verzamelt inhoud voor modeltraining
| Bot (user agent) | Beheerder | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
Crawlers van SEO-tools
Verzamelt backlinks en data voor SEO-tools
| Bot (user agent) | Beheerder | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Archief
Archiveert pagina's (Wayback Machine)
| Bot (user agent) | Beheerder | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Zo los je het op
- Per groep beslissen en in de robots.txt-generator toepassen.
- Of een bot echt is, blijkt alleen uit vergelijking met de officiële IP-lijsten van de aanbieders, niet uit de user agent.
5Veelgestelde vragen
Waarom heet geen enkele groep „slechte bots”?
Omdat TagSpion geen bedrijven beoordeelt. Een SEO-crawler is voor de een nuttig en voor de ander een last. Jij beslist.
Ontbreekt er een bot?
Mail naar tagspion@outlook.com met een link naar de documentatie van de aanbieder.