Instalar el plugin
Ayuda›Laboratorio IA›Generador de robots.txt

Generador de robots.txt robots.txt

¿Qué bots pueden hacer qué? El generador construye tu robots.txt en cuatro pasos: generar, revisar, probar, comparar. Todo en local, solo se lee el robots.txt de tu sitio.

/es/help/ai-lab/robots-txt-generator/Laboratorio IA · experimentalActualizado: 09/11/2026
Experimental. Las herramientas se basan en información pública de los proveedores de IA, estudios actuales, valoraciones publicadas por expertos en IA y SEO y la experiencia práctica de propietarios de sitios. Las plataformas de IA no revelan sus criterios, por eso los resultados son aproximaciones, experiencia y observaciones.

1¿Qué es?

Generar: elige una plantilla (WordPress, WooCommerce, Shopware, Joomla, staging), marca los bots por grupo, línea Sitemap y comentarios en tu idioma. Revisar: el robots.txt actual en busca de erratas, CSS bloqueado, sitemap ausente y contradicciones. Probar: comprobar una URL contra las reglas, según la regla de Google (gana la ruta coincidente más larga). Comparar: el antiguo frente al nuevo como diff.

2¿Por qué importa?

Una errata como «Disalow» se ignora en silencio. Un Disallow: / heredado del staging saca todo el sitio de la búsqueda. Y quien bloquea todos los bots de IA desaparece también de la búsqueda IA, no solo del entrenamiento.

3Qué comprueba TagSpion

ComprobaciónValoración
Grupos de botsbuscadores, búsqueda IA y consultas, recolectores (entrenamiento), rastreadores de herramientas SEO, archivo. Nombrados por función, sin juicios.
Revisarerratas, directivas desconocidas, Crawl-delay, noindex en robots.txt, CSS o JS bloqueados, wp-admin sin admin-ajax, Disallow: / para todos, sin sitemap, más de 500 KB
Probarpermitido o bloqueado por bot, con la línea que se aplica

4Cómo solucionarlo

  • Guarda el archivo como robots.txt y súbelo a la raíz del dominio: https://www.example.com/robots.txt
  • Tras subirlo, comprueba las URL más importantes en la pestaña «Probar».
  • Quita la plantilla de staging antes de publicar.
# robots.txt - AI search allowed, training blocked
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Training bots (your decision, no effect on visibility)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot

Sitemap: https://www.example.com/sitemap.xml

5Preguntas frecuentes

¿Debo bloquear los bots de IA?
Es decisión tuya. Bloquear el entrenamiento (GPTBot, ClaudeBot, Google-Extended) no cuesta visibilidad. Bloquear la búsqueda IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) te saca de las respuestas de IA.
¿Todos los bots respetan el robots.txt?
Los grandes proveedores sí, según ellos mismos. El robots.txt es una petición, no un bloqueo. Quien quiera bloquear de verdad necesita reglas en el servidor.
¿Qué son las señales (Content-Signal, Content-Usage)?
Propuestas de Cloudflare y del IETF para declarar el uso. No es estándar, en prueba. TagSpion las muestra, no afectan a la nota.
‹ AtrásActualidad