Katalog botów Bot Directory
Kto puka do drzwi? Katalog wymienia wszystkie znane boty z ich funkcją, informacją, czy są dozwolone na twojej stronie, i linkiem do oficjalnej dokumentacji.
Eksperymentalne. Narzędzia opierają się na publicznych informacjach dostawców AI, aktualnych badaniach, opublikowanych ocenach ekspertów AI i SEO oraz praktycznym doświadczeniu właścicieli stron. Platformy AI nie ujawniają swoich kryteriów, dlatego wyniki to przybliżenia, doświadczenie i obserwacje.
1Co to jest?
Każdy wiersz pokazuje user agenta, operatora, grupę (wyszukiwarka, wyszukiwanie AI i zapytania, zbieracz do treningu, crawler narzędzia SEO, archiwum), status według twojego robots.txt i link do dokumentacji dostawcy.
2Dlaczego to ważne?
Wielu blokuje „AI” hurtem i nie zauważa, że odcina tym samym wyszukiwanie AI. Kto zna boty, może decydować precyzyjnie.
3Co sprawdza TagSpion
| Sprawdzenie | Ocena |
|---|---|
| Status per bot | dozwolony lub zablokowany dla bieżącej strony, według RFC 9309 |
| Grupy | nazwane według funkcji, bez oceniania |
Wszystkie boty w skrócie
Wyszukiwarki
Klasyczne wyszukiwanie, podstawa odpowiedzi AI
| Bot (user agent) | Operator | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
Wyszukiwanie AI i zapytania
Czyta strony dla odpowiedzi AI i na żądanie użytkownika
| Bot (user agent) | Operator | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Zbieracze (trening)
Zbiera treści do trenowania modeli
| Bot (user agent) | Operator | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
Crawlery narzędzi SEO
Zbiera backlinki i dane dla narzędzi SEO
| Bot (user agent) | Operator | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Archiwum
Archiwizuje strony (Wayback Machine)
| Bot (user agent) | Operator | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Jak to naprawić
- Decyduj per grupa i wdróż to w generatorze robots.txt.
- Czy bot jest prawdziwy, pokaże tylko porównanie z oficjalnymi listami IP dostawców, nie user agent.
5Częste pytania
Dlaczego żadna grupa nie nazywa się „złe boty”?
Bo TagSpion nie ocenia firm. Crawler SEO dla jednego jest użyteczny, dla innego to obciążenie. Ty decydujesz.
Brakuje bota?
Napisz na tagspion@outlook.com z linkiem do dokumentacji dostawcy.