Hilfe›KI-Labor›robots.txt-Generator

robots.txt-Generator robots.txt

Welche Bots dürfen was? Der Generator baut dir die robots.txt in vier Schritten: Erzeugen, Prüfen, Testen, Vergleichen. Alles lokal, nur die robots.txt deiner Seite wird gelesen.

/de/help/ai-lab/robots-txt-generator/KI-Labor · experimentellStand: 09.11.2026

Experimentell (Experimental). Die Werkzeuge beruhen auf öffentlichen Angaben der KI-Anbieter, aktuellen Studien, veröffentlichten Einschätzungen von KI- und SEO-Experten und Erfahrungen aus der Praxis von Seitenbetreibern. Die KI-Plattformen legen ihre Kriterien nicht offen, die Ergebnisse sind daher Annäherungen, Erfahrungen und Beobachtungen.

1Was ist das?

Erzeugen: Vorlage wählen (WordPress, WooCommerce, Shopware, Joomla, Staging), Bots je Gruppe an- oder abwählen, Sitemap-Zeile und Kommentare in deiner Sprache. Prüfen: die aktuelle robots.txt auf Tippfehler, gesperrtes CSS, fehlende Sitemap und Widersprüche. Testen: eine URL gegen die Regeln prüfen, nach der Google-Regel (längster passender Pfad gewinnt). Vergleichen: alt gegen neu als Diff.

2Warum wichtig?

Ein Tippfehler wie „Disalow“ wird still ignoriert. Ein Disallow: / aus der Staging-Zeit nimmt die ganze Seite aus der Suche. Und wer alle KI-Bots sperrt, verschwindet auch aus der KI-Suche, nicht nur aus dem Training.

3Was TagSpion prüft

Prüfung	Bewertung
Bot-Gruppen	Suchmaschinen, KI-Suche und Abrufe, Datensammler (Training), SEO-Tool-Crawler, Archiv. Benannt nach Funktion, ohne Wertung.
Prüfen	Tippfehler, unbekannte Anweisungen, Crawl-delay, noindex in robots.txt, CSS oder JS gesperrt, wp-admin ohne admin-ajax, Disallow: / für alle, keine Sitemap, über 500 KB
Testen	erlaubt oder gesperrt je Bot, mit der Zeile, die greift

4So behebst du es

Datei als robots.txt speichern und ins Wurzelverzeichnis der Domain legen: https://www.example.com/robots.txt
Nach dem Hochladen im Reiter „Testen“ die wichtigsten URLs prüfen.
Staging-Vorlage vor dem Livegang wieder entfernen.

# robots.txt - AI search allowed, training blocked
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Training bots (your decision, no effect on visibility)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot

Sitemap: https://www.example.com/sitemap.xml

5Häufige Fragen

Soll ich KI-Bots sperren?

Das ist deine Entscheidung. Training sperren (GPTBot, ClaudeBot, Google-Extended) kostet keine Sichtbarkeit. KI-Suche sperren (OAI-SearchBot, PerplexityBot, Claude-SearchBot) nimmt dich aus den KI-Antworten.

Halten sich alle Bots an die robots.txt?

Die großen Anbieter ja, nach eigenen Angaben. Die robots.txt ist eine Bitte, keine Sperre. Wer sicher sperren will, braucht Server-Regeln.

Was sind die Signale (Content-Signal, Content-Usage)?

Vorschläge von Cloudflare und der IETF, um die Nutzung zu erklären. Kein Standard, in Erprobung. TagSpion zeigt sie an, sie haben keinen Einfluss auf die Note.