Guida · GEO e intelligenza artificiale
Come consentire o bloccare GPTBot
- Livello intermedio
- 8 passaggi
- Gratis
Bozza scritta con l’intelligenza artificiale e controllata · come lavoriamo
In breve
GPTBot raccoglie pagine per l'addestramento, OAI-SearchBot costruisce l'indice di ricerca di ChatGPT, ChatGPT-User apre una pagina quando la chiede un utente. Tre user-agent, tre decisioni separate nel `robots.txt`. Che però è una richiesta, non un blocco: chi non la rispetta passa.
- il file `robots.txt` del sito
- il report robots.txt di Google Search Console
- i log del server o le statistiche dell'hosting
- le liste di indirizzi IP pubblicate dai proprietari dei bot
- l'elenco comunitario ai.robots.txt su GitHub, che genera i file pronti
- Livello intermedio
Il 21 ottobre 2026 la pagina dei bot di OpenAI non sta più dove la mandano quasi tutte le guide in circolazione: platform.openai.com/docs/bots rimanda a developers.openai.com, e i bot ora sono quattro. Succede sempre così: i nomi cambiano, e una riga scritta col nome vecchio non blocca niente senza dirtelo.
Tre lavori diversi, tre bot diversi
Addestrare un modello vuol dire usare il tuo testo per costruirlo, una volta. Comparire in una risposta vuol dire leggere la tua pagina adesso e citarla. Sono crawler diversi con nomi diversi: bloccare quello sbagliato è l'errore più frequente.
OpenAI lo scrive esplicitamente: si può consentire `OAI-SearchBot` e bloccare `GPTBot`, perché ogni impostazione è indipendente. Anthropic, Perplexity e Amazon hanno la stessa struttura. Google e Apple no: hanno un token di controllo, Google-Extended e Applebot-Extended, che non scarica nulla e serve solo a vietare l'addestramento.
I bot che contano, uno per uno
Tabella compilata il 21 ottobre 2026 sulle pagine ufficiali di ciascun proprietario. Per la RFC 9309, lo standard del robots.txt, il confronto non distingue maiuscole e minuscole: ma un nome inventato non corrisponde a nessun bot, e la riga resta decorativa.
| User-agent | Di chi è | A cosa serve | Addestramento? |
|---|---|---|---|
GPTBot | OpenAI | Raccoglie pagine che possono addestrare i modelli. Vietarlo segnala che i tuoi testi non vanno usati. Fonte | Sì |
OAI-SearchBot | OpenAI | Costruisce l'indice della ricerca di ChatGPT. Bloccarlo ti toglie dalle risposte; puoi restare come semplice link di navigazione. | No |
ChatGPT-User | OpenAI | Apre una pagina quando la chiede un utente o un GPT. Essendo l'utente a chiedere, OpenAI avverte che le regole possono non applicarsi. | No |
OAI-AdsBot | OpenAI | Controlla la sicurezza delle pagine proposte come annunci in ChatGPT. Visita solo quelle. | No, dichiarato |
Googlebot | Il crawler della Ricerca, di Discover e delle funzioni AI dentro la Ricerca. Vietarlo significa uscire da Google. Fonte | Non separabile | |
Google-Extended | Non è un crawler e non fa richieste. Vieta l'uso dei contenuti per i futuri modelli Gemini e per il grounding. Non cambia la presenza nella Ricerca. | È il divieto | |
Google-CloudVertexBot | Scarica pagine solo quando è il proprietario del sito a chiederlo, per costruire agenti su Vertex AI. | No | |
ClaudeBot | Anthropic | Raccoglie pagine che possono addestrare i modelli Claude. Fonte | Sì |
Claude-SearchBot | Anthropic | Indicizza per migliorare i risultati di ricerca dentro Claude. Vietarlo riduce la presenza in quei risultati. | No |
Claude-User | Anthropic | Apre una pagina quando un utente di Claude fa una domanda che la richiede. | No |
PerplexityBot | Perplexity | Indicizza i siti perché possano comparire ed essere linkati nei risultati. Fonte | No, dichiarato |
Perplexity-User | Perplexity | Apre la pagina quando serve a rispondere. La documentazione avverte che «in genere ignora le regole del robots.txt». | No |
Bingbot | Microsoft | Un crawler solo, per la ricerca di Bing e per Copilot. Nel robots.txt non si separano: o tutto, o esci da Bing. | Non separabile |
Applebot | Apple | Alimenta la ricerca di Spotlight, di Siri e di Safari. Fonte | Non separabile |
Applebot-Extended | Apple | Non scarica pagine. Vieta l'uso dei dati già raccolti per i modelli di Apple Intelligence; le pagine restano nei risultati. | È il divieto |
meta-externalagent | Meta | Raccoglie pagine per addestrare i modelli e per indicizzare contenuti. Fonte | Sì |
meta-webindexer | Meta | Crawler per la qualità dei risultati di Meta AI: consentirlo, scrive Meta, aiuta a citare e linkare le tue pagine. | No |
meta-externalfetcher | Meta | Apre singoli link su richiesta di un utente. Meta scrive che questo crawler può ignorare il robots.txt. | No |
Amazonbot | Amazon | Raccoglie pagine per migliorare prodotti e servizi; i dati possono addestrare i modelli di Amazon. Fonte | Sì |
Amzn-SearchBot | Amazon | Indicizza per le ricerche dentro i prodotti Amazon, Alexa compresa. La pagina dichiara che non raccoglie dati per i modelli. | No, dichiarato |
Amzn-User | Amazon | Apre la pagina quando serve a rispondere a un utente di Alexa. Può non seguire tutte le regole. | No |
Bytespider | ByteDance | Il caso peggiore: oggi non abbiamo trovato una pagina ufficiale in inglese. Nell'elenco comunitario è segnato fra quelli che non rispettano il file. | Sì |
CCBot | Common Crawl | Costruisce l'archivio aperto del web per una fondazione non profit. La sua pagina parla di ricerca, non di addestramento: sono altri a usare quei dati. | Indirettamente |
Microsoft e Apple: il controllo non è dove lo cerchi
Microsoft non pubblica uno user-agent separato per l'AI: il controllo è un meta tag nella pagina, annunciato il 22 settembre 2023. noarchive tiene la pagina fuori dalle risposte di Copilot e dall'addestramento; nocache lascia passare solo indirizzo, titolo e anteprima. Va messo in ogni pagina.
Due conseguenze pratiche: se una pagina porta entrambi i tag, Microsoft tratta il caso come nocache, il meno restrittivo. E Cloudflare, il 15 settembre 2026, ha scritto che per Bing una preferenza «niente addestramento» dentro il `robots.txt` è prevista per l'inizio del 2027.
Apple separa in un terzo modo. Applebot-Extended non scarica pagine: vieta solo l'uso dei dati già raccolti per i modelli dietro Apple Intelligence. La pagina, pubblicata il 4 settembre 2026, precisa che i contenuti restano in Spotlight, in Siri e in Safari.
Le righe esatte, per i tre casi
Tre blocchi da incollare in fondo al robots.txt, dopo le regole che hai già. Ogni gruppo comincia con una o più righe User-agent: e sotto ha le sue Allow: o Disallow:. Più nomi di fila formano un solo gruppo: le regole valgono per tutti.
Caso 1: apro a tutti (la scelta di questo sito)
User-agent: *Allow: /Disallow: /api/Disallow: /dev/Disallow: /grazie/- Sono le tre esclusioni vere di questo sito: le chiamate interne, gli strumenti della redazione e la pagina di ringraziamento dei moduli. In un indice non servono a nessuno.
- Un bot che non trova un gruppo col suo nome applica quello con l'asterisco. Qui le stesse tre righe sono ripetute anche nel gruppo dei bot AI, per il motivo del paragrafo seguente.
Qui c'è un tranello che quasi nessuno segnala. Per Google un bot applica un solo gruppo, il primo più specifico che lo nomina. Se scrivi un gruppo per i bot AI con solo Allow: /, quei bot perdono le esclusioni messe sotto l'asterisco: vanno ripetute dentro.
Caso 2: blocco il solo addestramento, resto citabile
User-agent: GPTBotUser-agent: ClaudeBotUser-agent: Google-ExtendedUser-agent: Applebot-ExtendedUser-agent: meta-externalagentUser-agent: AmazonbotUser-agent: BytespiderUser-agent: CCBotDisallow: /- Fuori dall'elenco restano
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Amzn-SearchBot,Googlebot,BingboteApplebot: sono quelli che possono citarti, e continuano a passare.
Due righe di quella lista non sono crawler: Google-Extended e Applebot-Extended sono token, e vietarli non toglie niente dalla Ricerca Google né da Spotlight. Bingbot manca perché per Bing il divieto di addestramento non passa dal robots.txt, ma dal meta tag visto sopra.
Caso 3: blocco tutto
- Riprendi il gruppo del caso 2 e aggiungi nelle righe
User-agent:ancheOAI-SearchBot,ChatGPT-User,Claude-SearchBot,Claude-User,PerplexityBot,Perplexity-User,meta-webindexer,meta-externalfetcher,Amzn-SearchBot,Amzn-UsereApplebot. Disallow: /- Aggiungi su ogni pagina il meta tag
noarchive, altrimenti i contenuti restano disponibili per Copilot. - Tre di quei nomi —
ChatGPT-User,Perplexity-User,meta-externalfetcher— appartengono a bot che le rispettive documentazioni dicono di non vincolare alrobots.txt: agiscono su richiesta di una persona.
Un caso lavorato, con i numeri dei log
La procedura, in ordine
- 1Decidi la domanda vera: vuoi essere nominato dagli assistenti, o vuoi che i tuoi testi non finiscano nei modelli? Il `robots.txt` tratta le due cose separatamente.
- 2Apri il tuo file all'indirizzo del sito seguito da `/robots.txt` e copiane il contenuto in un documento a parte: è la copia di sicurezza.
- 3Incolla in fondo il blocco del caso che hai scelto, senza cancellare le regole che c'erano, e rileggi ogni user-agent sulla pagina del proprietario.
- 4Se avevi un gruppo `User-agent: *` con delle esclusioni, ripetile dentro il gruppo nuovo: un bot applica un solo gruppo, non entrambi.
- 5Pubblica e aspetta almeno un giorno: un crawler può usare la copia in memoria del file fino a ventiquattro ore.
- 6Controlla in Search Console, dentro Impostazioni, il report `robots.txt`: dice se Google ha letto il file, quando, e con quali errori.
- 7Dopo una settimana cerca nei log i bot che hai bloccato. Se passano ancora, confronta i loro indirizzi IP con le liste che i proprietari pubblicano.
- 8Scrivi in un file interno la scelta, la data e il motivo: fra un anno nessuno ricorderà perché quelle righe ci sono. Nel `robots.txt`, che è pubblico, non spiegare nulla: un commento lì lo leggono tutti.
Gli errori che costano visibilità
- !Bloccare `OAI-SearchBot` credendo di fermare l'addestramento: quello è `GPTBot`. Così esci dalle risposte di ricerca di ChatGPT e i testi già raccolti restano dove sono.
- !Mettere il divieto sotto `User-agent: *` invece che sotto i nomi dei singoli bot: lo applichi anche a Googlebot e a Bingbot, e il sito esce dai motori.
- !Credere che sia un blocco tecnico. È una richiesta scritta in un file pubblico: chi non la rispetta scarica le pagine comunque, e lo scopri solo dai log.
- !Aggiungere il divieto dopo che il contenuto è già stato raccolto e aspettarsi che esca dai modelli esistenti. Le regole valgono per le raccolte successive.
- !Dimenticare che il file è pubblico: chiunque, concorrenti compresi, legge a `/robots.txt` quali bot tieni fuori e quali cartelle del sito esistono.
Come si verifica che la regola funzioni
In Search Console apri Impostazioni e da lì il report robots.txt: elenca i file che Google ha trovato per i tuoi host, quando li ha letti e quanti problemi contengono. Serve una proprietà di dominio, o una per prefisso senza percorso. Un errore impedisce l'uso della regola, un avviso no.
Poi i log. Cerca lo user-agent e guarda le richieste dopo la data del cambio. Per i bot che contano, confronta l'indirizzo IP con la lista che il proprietario pubblica: OpenAI ne pubblica una per bot, e così fanno Perplexity, Anthropic e Amazon.
Due avvertenze. Chi scrive GPTBot nell'intestazione non è per forza GPTBot: lo user-agent lo decide chi fa la richiesta. E la regola non è immediata: per la RFC 9309 il file può restare in memoria fino a ventiquattro ore.
È una richiesta, non un blocco: perché va detto
La frase decisiva è nello standard: quelle regole non sono una forma di autorizzazione all'accesso. Anche Google avverte che non tutti i motori le supportano, e che una pagina vietata può finire nell'indice se altri siti la linkano.
Che non sia teoria lo ha mostrato Cloudflare il 4 agosto 2025: su domini nuovi, non indicizzati, con il robots.txt che vietava ogni accesso automatico, Perplexity rispondeva comunque sul contenuto, con uno user-agent da browser normale e indirizzi fuori dalla sua lista pubblica. Cloudflare l'ha tolta dai bot verificati.
Quindi: se un bot ti ignora, la riga di testo non basta. Serve un blocco a livello di server o di rete, cioè il firewall dell'hosting o un servizio davanti al sito. È una scelta tecnica con un rischio suo: bloccare anche visitatori veri.
Il costo di ogni scelta, e dove sta andando
| Scelta | Cosa ottieni | Cosa paghi |
|---|---|---|
| Apro a tutti | La massima possibilità di essere letto e citato nelle risposte, e di ricevere visite dagli assistenti. | I tuoi testi possono entrare negli addestramenti, senza compenso e senza che tu lo sappia. |
| Blocco il solo addestramento | Resti citabile dai bot di ricerca e di risposta, e dichiari che i testi non vanno usati per costruire i modelli. | Il divieto vale per chi lo rispetta, non per gli altri, e non per quello che è già stato raccolto. |
| Blocco tutto | Nessun bot AI che rispetta il file tocca più il sito. Googlebot e Bingbot restano fuori dall'elenco di proposito: il sito resta nei motori di ricerca. | Esci dalle risposte generate, perdi le visite che ne arrivavano, e chi ignora il file passa comunque. |
La via d'uscita, se arriverà, è altrove: all'IETF il gruppo «AI Preferences» sta scrivendo un vocabolario per dichiarare cosa si può fare con un contenuto. Il documento principale, al 21 ottobre 2026, è ancora una bozza di lavoro e non una RFC.
La nostra scelta, detta per quello che è: qui GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e gli altri sono consentiti. Gli articoli li scriviamo con l'intelligenza artificiale e lo dichiariamo in trasparenza AI. Se la domanda è «mi citano?», la verifica è in sapere se ChatGPT cita il sito.
Fonti
- Overview of OpenAI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot), OpenAI Developers (consultata il 21 ottobre 2026)
- Google's common crawlers (Googlebot, Google-Extended, Google-CloudVertexBot), Google Search Central (consultata il 21 ottobre 2026)
- How to write and submit a robots.txt file, Google Search Central (consultata il 21 ottobre 2026)
- Introduction to robots.txt, Google Search Central (consultata il 21 ottobre 2026)
- Report robots.txt, Google, Guida di Search Console (consultata il 21 ottobre 2026)
- Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic, centro assistenza (consultata il 21 ottobre 2026)
- Perplexity Crawlers: PerplexityBot e Perplexity-User, Perplexity, documentazione (consultata il 23 ottobre 2026)
- Announcing new options for webmasters to control usage of their content in Bing Chat, Microsoft Bing, blog per i webmaster (consultata il 21 ottobre 2026)
- About Applebot and Applebot-Extended, Apple, supporto (consultata il 21 ottobre 2026)
- Web crawlers di Meta, Meta for Developers (consultata il 21 ottobre 2026)
- Amazonbot, Amzn-SearchBot e Amzn-User, Amazon Developer (consultata il 21 ottobre 2026)
- CCBot, Common Crawl Foundation (consultata il 21 ottobre 2026)
- ai.robots.txt, elenco comunitario dei bot AI, ai-robots-txt su GitHub (consultata il 21 ottobre 2026)
- RFC 9309: Robots Exclusion Protocol, IETF, RFC Editor (consultata il 21 ottobre 2026)
- Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives, Cloudflare, blog (consultata il 21 ottobre 2026)
- Have it both ways: stay discoverable in search while disallowing AI training, Cloudflare, blog (consultata il 21 ottobre 2026)
- draft-ietf-aipref-vocab: A Vocabulary for Expressing AI Usage Preferences, IETF Datatracker (consultata il 21 ottobre 2026)
Guida aggiornata il 23 ottobre 2026.
Se blocco GPTBot il mio sito scompare da ChatGPT?
No, se blocchi solo quello. L'indice della ricerca di ChatGPT lo costruisce OAI-SearchBot, un user-agent diverso, e OpenAI scrive che le due impostazioni sono indipendenti. Se blocchi anche quello, allora esci dalle risposte di ricerca, pur potendo restare come link di navigazione.
Bloccare Google-Extended mi toglie dalle AI Overview?
No. Google-Extended riguarda l'addestramento dei futuri modelli Gemini e il grounding, e la documentazione dice che non incide sulla presenza nella Ricerca. Le funzioni AI dentro la Ricerca si alimentano da quello che indicizza Googlebot: per uscirne servono altri strumenti, non quel token.
Il robots.txt protegge i miei contenuti dalla copia?
No, e non è il suo scopo. È una richiesta ai crawler automatici: non impedisce a una persona di copiare un testo, né a un programma che decide di ignorarla. Per la tutela dei contenuti servono altre strade, dal diritto d'autore al blocco a livello di rete.
E il file llms.txt? Serve a bloccare i bot?
No, e la confusione è comune: llms.txt è un elenco di pagine consigliate, non un file di permessi. Scriverci dentro un divieto di addestramento non vincola nessuno. Che cos'è e chi lo legge davvero sta nella guida su come creare il file llms.txt.
E se preferisco che il blog lo scriva qualcun altro?
Con i nostri piani, da 50 € al mese + IVA, scriviamo noi gli articoli del blog: bozze con l’intelligenza artificiale e controlli automatici, poi la pubblicazione dove la piattaforma lo permette. Ti chiediamo un’ora di setup. Nessuno legge gli articoli prima che escano: se vuoi leggerli tu, al setup scegli l’approvazione. Social, newsletter e promozione non sono compresi.