Bot-Lexikon Bot Directory
Wer klopft da an? Das Lexikon listet alle bekannten Bots mit ihrer Funktion, ob sie auf deiner Seite erlaubt sind und wo die offizielle Dokumentation steht.
Experimentell (Experimental). Die Werkzeuge beruhen auf öffentlichen Angaben der KI-Anbieter, aktuellen Studien, veröffentlichten Einschätzungen von KI- und SEO-Experten und Erfahrungen aus der Praxis von Seitenbetreibern. Die KI-Plattformen legen ihre Kriterien nicht offen, die Ergebnisse sind daher Annäherungen, Erfahrungen und Beobachtungen.
1Was ist das?
Jede Zeile zeigt den User-Agent, den Betreiber, die Gruppe (Suchmaschine, KI-Suche und Abrufe, Datensammler für Training, SEO-Tool-Crawler, Archiv), den Status laut deiner robots.txt und den Link zur Dokumentation des Anbieters.
2Warum wichtig?
Viele sperren „die KI“ pauschal und merken nicht, dass sie damit auch die KI-Suche aussperren. Wer die Bots kennt, kann gezielt entscheiden.
3Was TagSpion prüft
| Prüfung | Bewertung |
|---|---|
| Status je Bot | erlaubt oder gesperrt für die aktuelle Seite, nach RFC 9309 |
| Gruppen | nach Funktion benannt, keine Wertung |
Alle Bots im Überblick
Suchmaschinen
Klassische Suche, Basis für KI-Antworten
| Bot (User-Agent) | Betreiber | Doku |
|---|---|---|
Googlebot | Google · AI Overviews | Doku ↗ |
Bingbot | Bing · Copilot | Doku ↗ |
Applebot | Apple · Siri | Doku ↗ |
KI-Suche und Abrufe
Liest Seiten für KI-Antworten und auf Nutzerwunsch
| Bot (User-Agent) | Betreiber | Doku |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Doku ↗ |
ChatGPT-User | OpenAI · ChatGPT | Doku ↗ |
Claude-SearchBot | Anthropic · Claude Search | Doku ↗ |
Claude-User | Anthropic · Claude | Doku ↗ |
PerplexityBot | Perplexity · Search | Doku ↗ |
Perplexity-User | Perplexity | Doku ↗ |
DuckAssistBot | DuckDuckGo | Doku ↗ |
MistralAI-User | Mistral · Le Chat | Doku ↗ |
Datensammler (Training)
Sammelt Inhalte für das Training von Modellen
| Bot (User-Agent) | Betreiber | Doku |
|---|---|---|
GPTBot | OpenAI | Doku ↗ |
ClaudeBot | Anthropic | Doku ↗ |
Google-Extended | Google · Gemini | Doku ↗ |
Applebot-Extended | Apple · Apple Intelligence | Doku ↗ |
meta-externalagent | Meta · Meta AI | Doku ↗ |
CCBot | Common Crawl | Doku ↗ |
Bytespider | ByteDance | – |
SEO-Tool-Crawler
Sammelt Backlinks und Daten für SEO-Werkzeuge
| Bot (User-Agent) | Betreiber | Doku |
|---|---|---|
AhrefsBot | Ahrefs | Doku ↗ |
SemrushBot | Semrush | Doku ↗ |
MJ12bot | Majestic | Doku ↗ |
DotBot | Moz | Doku ↗ |
Archiv
Archiviert Seiten (Wayback Machine)
| Bot (User-Agent) | Betreiber | Doku |
|---|---|---|
ia_archiver | Internet Archive | Doku ↗ |
4So behebst du es
- Entscheidung je Gruppe treffen und im robots.txt-Generator umsetzen.
- Ob ein Bot echt ist, zeigt nur der Abgleich mit den offiziellen IP-Listen der Anbieter, nicht der User-Agent.
5Häufige Fragen
Warum heißt keine Gruppe „schlechte Bots“?
Weil TagSpion keine Firmen bewertet. Ein SEO-Crawler ist für den einen nützlich, für den anderen Last. Du entscheidest.
Fehlt ein Bot?
Schreib an tagspion@outlook.com, mit Link zur Dokumentation des Anbieters.