Aiuto›Laboratorio IA›Generatore robots.txt

Generatore robots.txt robots.txt

Quali bot possono fare cosa? Il generatore costruisce il tuo robots.txt in quattro passi: genera, controlla, testa, confronta. Tutto in locale, viene letto solo il robots.txt del tuo sito.

/it/help/ai-lab/robots-txt-generator/Laboratorio IA · sperimentaleAggiornato: 09/11/2026

Sperimentale. Gli strumenti si basano su informazioni pubbliche dei fornitori di IA, studi recenti, valutazioni pubblicate da esperti di IA e SEO ed esperienza pratica dei gestori di siti. Le piattaforme di IA non rivelano i loro criteri, quindi i risultati sono approssimazioni, esperienza e osservazioni.

1Che cos'è?

Genera: scegli un modello (WordPress, WooCommerce, Shopware, Joomla, staging), seleziona i bot per gruppo, riga Sitemap e commenti nella tua lingua. Controlla: il robots.txt attuale per refusi, CSS bloccato, sitemap mancante e contraddizioni. Testa: verifica un URL contro le regole, secondo la regola di Google (vince il percorso corrispondente più lungo). Confronta: vecchio contro nuovo come diff.

2Perché è importante

Un refuso come «Disalow» viene ignorato in silenzio. Un Disallow: / rimasto dallo staging toglie tutto il sito dalla ricerca. E chi blocca tutti i bot IA sparisce anche dalla ricerca IA, non solo dall'addestramento.

3Cosa controlla TagSpion

Controllo	Valutazione
Gruppi di bot	motori di ricerca, ricerca IA e richieste, raccoglitori (addestramento), crawler di strumenti SEO, archivio. Nominati per funzione, senza giudizio.
Controlla	refusi, direttive sconosciute, Crawl-delay, noindex nel robots.txt, CSS o JS bloccati, wp-admin senza admin-ajax, Disallow: / per tutti, nessuna sitemap, oltre 500 KB
Testa	consentito o bloccato per bot, con la riga che si applica

4Come risolvere

Salva il file come robots.txt e mettilo nella radice del dominio: https://www.example.com/robots.txt
Dopo il caricamento, controlla gli URL più importanti nella scheda «Testa».
Rimuovi il modello staging prima della pubblicazione.

# robots.txt - AI search allowed, training blocked
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Training bots (your decision, no effect on visibility)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

# AI search bots stay allowed: OAI-SearchBot, PerplexityBot, Claude-SearchBot

Sitemap: https://www.example.com/sitemap.xml

5Domande frequenti

Devo bloccare i bot IA?

È una tua decisione. Bloccare l'addestramento (GPTBot, ClaudeBot, Google-Extended) non costa visibilità. Bloccare la ricerca IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) ti toglie dalle risposte IA.

Tutti i bot rispettano il robots.txt?

I grandi fornitori sì, a loro dire. Il robots.txt è una richiesta, non un blocco. Chi vuole bloccare con certezza ha bisogno di regole sul server.

Cosa sono i segnali (Content-Signal, Content-Usage)?

Proposte di Cloudflare e dell'IETF per dichiarare l'uso. Non standard, in prova. TagSpion li mostra, non hanno effetto sul voto.