Elenco bot Bot Directory
Chi bussa alla porta? L'elenco mostra tutti i bot noti con la loro funzione, se sono consentiti sulla tua pagina e dove si trova la documentazione ufficiale.
1Che cos'è?
Ogni riga mostra lo user agent, il gestore, il gruppo (motore di ricerca, ricerca IA e richieste, raccoglitore per addestramento, crawler di strumento SEO, archivio), lo stato secondo il tuo robots.txt e il link alla documentazione del fornitore.
2Perché è importante
Molti bloccano «l'IA» in blocco e non si accorgono di escludere così anche la ricerca IA. Chi conosce i bot può decidere con precisione.
3Cosa controlla TagSpion
| Controllo | Valutazione |
|---|---|
| Stato per bot | consentito o bloccato per la pagina corrente, secondo RFC 9309 |
| Gruppi | nominati per funzione, senza giudizio |
Tutti i bot a colpo d'occhio
Ricerca classica, base delle risposte IA
| Bot (user agent) | Gestore | Docs |
|---|---|---|
Googlebot | Google · AI Overviews | Docs ↗ |
Bingbot | Bing · Copilot | Docs ↗ |
Applebot | Apple · Siri | Docs ↗ |
Legge pagine per le risposte IA e su richiesta dell'utente
| Bot (user agent) | Gestore | Docs |
|---|---|---|
OAI-SearchBot | OpenAI · ChatGPT Search | Docs ↗ |
ChatGPT-User | OpenAI · ChatGPT | Docs ↗ |
Claude-SearchBot | Anthropic · Claude Search | Docs ↗ |
Claude-User | Anthropic · Claude | Docs ↗ |
PerplexityBot | Perplexity · Search | Docs ↗ |
Perplexity-User | Perplexity | Docs ↗ |
DuckAssistBot | DuckDuckGo | Docs ↗ |
MistralAI-User | Mistral · Le Chat | Docs ↗ |
Raccoglie contenuti per l'addestramento dei modelli
| Bot (user agent) | Gestore | Docs |
|---|---|---|
GPTBot | OpenAI | Docs ↗ |
ClaudeBot | Anthropic | Docs ↗ |
Google-Extended | Google · Gemini | Docs ↗ |
Applebot-Extended | Apple · Apple Intelligence | Docs ↗ |
meta-externalagent | Meta · Meta AI | Docs ↗ |
CCBot | Common Crawl | Docs ↗ |
Bytespider | ByteDance | – |
Raccoglie backlink e dati per strumenti SEO
| Bot (user agent) | Gestore | Docs |
|---|---|---|
AhrefsBot | Ahrefs | Docs ↗ |
SemrushBot | Semrush | Docs ↗ |
MJ12bot | Majestic | Docs ↗ |
DotBot | Moz | Docs ↗ |
Archivia le pagine (Wayback Machine)
| Bot (user agent) | Gestore | Docs |
|---|---|---|
ia_archiver | Internet Archive | Docs ↗ |
4Come risolvere
- Decidi per gruppo e applicalo nel generatore robots.txt.
- Se un bot è autentico lo mostra solo il confronto con le liste IP ufficiali dei fornitori, non lo user agent.