Aide›Labo IA›Générateur robots.txt

Générateur robots.txt robots.txt

Quels bots ont le droit de faire quoi ? Le générateur construit ton robots.txt en quatre étapes : générer, vérifier, tester, comparer. Tout en local, seul le robots.txt de ton site est lu.

/fr/help/ai-lab/robots-txt-generator/Labo IA · expérimentalMis à jour: 09/11/2026

Expérimental. Les outils reposent sur les informations publiques des fournisseurs d'IA, des études récentes, des avis publiés d'experts IA et SEO et l'expérience pratique d'éditeurs de sites. Les plateformes d'IA ne dévoilent pas leurs critères, les résultats sont donc des approximations, de l'expérience et des observations.

1Qu'est-ce que c'est ?

Générer : choisis un modèle (WordPress, WooCommerce, Shopware, Joomla, staging), coche les bots par groupe, ligne Sitemap et commentaires dans ta langue. Vérifier : le robots.txt actuel pour fautes de frappe, CSS bloqué, sitemap manquant et contradictions. Tester : contrôler une URL contre les règles, selon la règle Google (le chemin correspondant le plus long gagne). Comparer : l'ancien contre le nouveau en diff.

2Pourquoi c'est important

Une faute comme « Disalow » est ignorée en silence. Un Disallow: / hérité du staging retire tout le site de la recherche. Et qui bloque tous les bots IA disparaît aussi de la recherche IA, pas seulement de l'entraînement.

3Ce que TagSpion vérifie

Vérification	Évaluation
Groupes de bots	moteurs de recherche, recherche IA et requêtes, collecteurs (entraînement), crawlers d'outils SEO, archive. Nommés par fonction, sans jugement.
Vérifier	fautes de frappe, directives inconnues, Crawl-delay, noindex dans robots.txt, CSS ou JS bloqués, wp-admin sans admin-ajax, Disallow: / pour tous, pas de sitemap, plus de 500 Ko
Tester	autorisé ou bloqué par bot, avec la ligne qui s'applique

4Comment corriger

Enregistre le fichier en robots.txt et place-le à la racine du domaine : https://www.example.com/robots.txt
Après l'envoi, vérifie les URL les plus importantes dans l'onglet « Tester ».
Retire le modèle staging avant la mise en ligne.

# robots.txt - AI search allowed, training blocked
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Training bots (your decision, no effect on visibility)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot

Sitemap: https://www.example.com/sitemap.xml

5Questions fréquentes

Dois-je bloquer les bots IA ?

C'est ta décision. Bloquer l'entraînement (GPTBot, ClaudeBot, Google-Extended) ne coûte aucune visibilité. Bloquer la recherche IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) te retire des réponses IA.

Tous les bots respectent-ils le robots.txt ?

Les grands fournisseurs oui, selon leurs propres dires. Le robots.txt est une demande, pas un verrou. Pour bloquer à coup sûr, il faut des règles serveur.

Que sont les signaux (Content-Signal, Content-Usage) ?

Des propositions de Cloudflare et de l'IETF pour déclarer l'usage. Pas un standard, en test. TagSpion les affiche, ils n'ont aucun effet sur la note.