robots.txt-generator robots.txt
Welke bots mogen wat? De generator bouwt je robots.txt in vier stappen: genereren, controleren, testen, vergelijken. Alles lokaal, alleen de robots.txt van je site wordt gelezen.
1Wat is het?
Genereren: sjabloon kiezen (WordPress, WooCommerce, Shopware, Joomla, staging), bots per groep aan- of uitvinken, Sitemap-regel en opmerkingen in jouw taal. Controleren: de huidige robots.txt op typefouten, geblokkeerde CSS, ontbrekende sitemap en tegenstrijdigheden. Testen: een URL tegen de regels controleren, volgens de Google-regel (langste passende pad wint). Vergelijken: oud tegen nieuw als diff.
2Waarom belangrijk?
Een typefout als „Disalow” wordt stilzwijgend genegeerd. Een Disallow: / uit de stagingtijd haalt de hele site uit de zoekresultaten. En wie alle AI-bots blokkeert, verdwijnt ook uit AI-zoeken, niet alleen uit de training.
3Wat TagSpion controleert
| Controle | Beoordeling |
|---|---|
| Botgroepen | zoekmachines, AI-zoeken en aanvragen, verzamelaars (training), crawlers van SEO-tools, archief. Benoemd naar functie, zonder oordeel. |
| Controleren | typefouten, onbekende instructies, Crawl-delay, noindex in robots.txt, CSS of JS geblokkeerd, wp-admin zonder admin-ajax, Disallow: / voor iedereen, geen sitemap, meer dan 500 KB |
| Testen | toegestaan of geblokkeerd per bot, met de regel die geldt |
4Zo los je het op
- Bestand opslaan als robots.txt en in de hoofdmap van het domein zetten: https://www.example.com/robots.txt
- Na het uploaden in het tabblad „Testen” de belangrijkste URL's controleren.
- Stagingsjabloon vóór livegang weer verwijderen.
# robots.txt - AI search allowed, training blocked User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Training bots (your decision, no effect on visibility) User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: CCBot Disallow: / # AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot Sitemap: https://www.example.com/sitemap.xml