robots.txt oluşturucu robots.txt
Hangi botlar neyi yapabilir? Oluşturucu robots.txt'ni dört adımda kurar: oluştur, kontrol et, test et, karşılaştır. Hepsi yerel, yalnızca sitenin robots.txt dosyası okunur.
1Bu nedir?
Oluştur: şablon seç (WordPress, WooCommerce, Shopware, Joomla, staging), grup başına botları seç, Sitemap satırı ve kendi dilinde yorumlar. Kontrol et: mevcut robots.txt'yi yazım hatası, engellenmiş CSS, eksik site haritası ve çelişkiler açısından. Test et: bir URL'yi kurallara karşı Google kuralıyla (en uzun eşleşen yol kazanır) kontrol et. Karşılaştır: eskiyi yeniyle diff olarak.
2Neden önemli?
„Disalow“ gibi bir yazım hatası sessizce yok sayılır. Staging döneminden kalan bir Disallow: / tüm siteyi aramadan çıkarır. Ve tüm YZ botlarını engelleyen yalnızca eğitimden değil YZ aramasından da kaybolur.
3TagSpion neyi kontrol eder
| Kontrol | Değerlendirme |
|---|---|
| Bot grupları | arama motorları, YZ araması ve sorgular, toplayıcılar (eğitim), SEO aracı tarayıcıları, arşiv. İşleve göre adlandırılmış, yargı yok. |
| Kontrol et | yazım hataları, bilinmeyen yönergeler, Crawl-delay, robots.txt'de noindex, engelli CSS veya JS, admin-ajax olmadan wp-admin, herkes için Disallow: /, site haritası yok, 500 KB üstü |
| Test et | bot başına izinli veya engelli, geçerli satırla |
4Nasıl düzeltilir
- Dosyayı robots.txt olarak kaydet ve alan adının kök dizinine koy: https://www.example.com/robots.txt
- Yükledikten sonra „Test et“ sekmesinde en önemli URL'leri kontrol et.
- Staging şablonunu yayına almadan önce kaldır.
# robots.txt - AI search allowed, training blocked User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Training bots (your decision, no effect on visibility) User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: CCBot Disallow: / # AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot Sitemap: https://www.example.com/sitemap.xml