Generator robots.txt robots.txt
Które boty mogą co? Generator buduje twój robots.txt w czterech krokach: generuj, sprawdź, testuj, porównaj. Wszystko lokalnie, czytany jest tylko robots.txt twojej witryny.
1Co to jest?
Generuj: wybierz szablon (WordPress, WooCommerce, Shopware, Joomla, staging), zaznacz boty per grupa, wiersz Sitemap i komentarze w twoim języku. Sprawdź: bieżący robots.txt pod kątem literówek, zablokowanego CSS, brakującej mapy witryny i sprzeczności. Testuj: sprawdź URL względem reguł, według zasady Google (wygrywa najdłuższa pasująca ścieżka). Porównaj: stary ze nowym jako diff.
2Dlaczego to ważne?
Literówka jak „Disalow” jest po cichu ignorowana. Disallow: / z czasów stagingu usuwa całą witrynę z wyszukiwarki. A kto blokuje wszystkie boty AI, znika też z wyszukiwania AI, nie tylko z treningu.
3Co sprawdza TagSpion
| Sprawdzenie | Ocena |
|---|---|
| Grupy botów | wyszukiwarki, wyszukiwanie AI i zapytania, zbieracze (trening), crawlery narzędzi SEO, archiwum. Nazwane według funkcji, bez oceniania. |
| Sprawdź | literówki, nieznane dyrektywy, Crawl-delay, noindex w robots.txt, zablokowane CSS lub JS, wp-admin bez admin-ajax, Disallow: / dla wszystkich, brak mapy witryny, ponad 500 KB |
| Testuj | dozwolone lub zablokowane per bot, z wierszem, który obowiązuje |
4Jak to naprawić
- Zapisz plik jako robots.txt i umieść w katalogu głównym domeny: https://www.example.com/robots.txt
- Po wgraniu sprawdź najważniejsze URL-e w zakładce „Testuj”.
- Szablon staging usuń przed publikacją.
# robots.txt - AI search allowed, training blocked User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Training bots (your decision, no effect on visibility) User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: CCBot Disallow: / # AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot Sitemap: https://www.example.com/sitemap.xml