Bot dizini Bot Directory
Kapıyı kim çalıyor? Dizin bilinen tüm botları işlevleri, sayfanda izinli olup olmadıkları ve resmî belgelerin nerede olduğuyla listeler.
Deneysel. Araçlar, YZ sağlayıcılarının kamuya açık bilgilerine, güncel çalışmalara, YZ ve SEO uzmanlarının yayımlanmış değerlendirmelerine ve site sahiplerinin pratik deneyimlerine dayanır. YZ platformları ölçütlerini açıklamaz; bu nedenle sonuçlar yaklaşım, deneyim ve gözlemdir.
1Bu nedir?
Her satır user agent'ı, işletmeciyi, grubu (arama motoru, YZ araması ve sorgular, eğitim için toplayıcı, SEO aracı tarayıcısı, arşiv), robots.txt'ne göre durumu ve sağlayıcının belgelerine bağlantıyı gösterir.
2Neden önemli?
Birçoğu „YZ“yi toptan engeller ve böylece YZ aramasını da dışarıda bıraktığını fark etmez. Botları tanıyan hedefli karar verebilir.
3TagSpion neyi kontrol eder
| Kontrol | Değerlendirme |
|---|---|
| Bot başına durum | geçerli sayfa için izinli veya engelli, RFC 9309'a göre |
| Gruplar | işleve göre adlandırılmış, yargı yok |
Tüm botlar bir bakışta
Arama motorları
Klasik arama, YZ yanıtlarının temeli
| Bot (user agent) | İşletmeci | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
YZ araması ve sorgular
YZ yanıtları için ve kullanıcı isteğiyle sayfaları okur
| Bot (user agent) | İşletmeci | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Toplayıcılar (eğitim)
Model eğitimi için içerik toplar
| Bot (user agent) | İşletmeci | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
SEO aracı tarayıcıları
SEO araçları için backlink ve veri toplar
| Bot (user agent) | İşletmeci | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Arşiv
Sayfaları arşivler (Wayback Machine)
| Bot (user agent) | İşletmeci | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Nasıl düzeltilir
- Grup başına karar ver ve robots.txt oluşturucuda uygula.
- Bir botun gerçek olup olmadığını user agent değil, yalnızca sağlayıcıların resmî IP listeleriyle karşılaştırma gösterir.
5Sık sorulan sorular
Neden hiçbir grup „kötü botlar“ adını taşımıyor?
Çünkü TagSpion şirketleri yargılamaz. Bir SEO tarayıcısı biri için yararlı, diğeri için yüktür. Sen karar verirsin.
Bir bot eksik mi?
Sağlayıcının belgelerine bağlantıyla tagspion@outlook.com adresine yaz.