Un generatore di robots.txt toglie ogni ipotesi da uno dei file più vecchi e più fraintesi del web. Questo strumento gratuito crea in pochi secondi un robots.txt sintatticamente corretto: scelga un preset per WordPress, per e-commerce o un set di regole del tutto personalizzato, decida se bloccare la nuova ondata di crawler di IA e copi il risultato direttamente nella directory radice del Suo sito.
Quasi tutti i problemi di robots.txt nascono dagli stessi pochi errori: bloccare i file CSS e JS di cui Google ha bisogno per visualizzare la pagina, usare il robots.txt per cercare di «nascondere» una pagina già indicizzata e lasciare un Disallow: / di staging su un sito in produzione. Questa pagina spiega ciascuna di queste trappole, così può controllare il Suo risultato prima del caricamento.
Che cosa fa questo generatore di robots.txt
Lo strumento crea un file robots.txt in testo semplice composto da uno o più blocchi User-agent, ciascuno seguito da direttive Allow e Disallow, da un Crawl-delay facoltativo e da una riga Sitemap che indirizza i motori di ricerca alla Sua sitemap XML. Scelga un preset per compilare automaticamente valori predefiniti sensati, attivi le caselle per aggiungere regole di blocco per specifici crawler di IA e il generatore assembla tutto in un file pulito e conforme agli standard, che può copiare con un clic.
Ogni regola aggiunta è visibile prima di copiare qualsiasi cosa, quindi nulla è nascosto o inserito in automatico. Ciò che vede nel riquadro di output è esattamente ciò che viene caricato sul Suo server.
Come si usa
- Scelga un preset. «Consenti tutti» è l’impostazione predefinita più sicura per la maggior parte dei piccoli siti. «WordPress standard» blocca i percorsi di amministrazione e di ricerca lasciando scansionabili contenuti, core e cartelle dei plugin (compresi i relativi CSS/JS). «E-commerce standard» aggiunge i percorsi di carrello, checkout e account.
- Regoli lo User-agent e i percorsi. Lasci
User-agent: *per rivolgersi a ogni crawler, oppure indichi un singolo bot se serve una regola speciale. - Aggiunga l’URL della sitemap. Questa singola riga aiuta ogni motore di ricerca a trovare la Sua sitemap senza doverla inviare manualmente ovunque.
- Decida sui crawler di IA. Selezioni le caselle dei bot di IA che desidera tenere fuori dalla Sua pipeline di dati di addestramento.
- Generi e copi. Faccia clic su Genera, controlli l’output, poi lo copi in un file chiamato esattamente
robots.txtnella radice del Suo dominio.
Come funziona davvero il robots.txt
Il robots.txt segue il Robots Exclusion Protocol, uno standard volontario che i crawler corretti consultano prima di richiedere qualsiasi pagina del Suo dominio. Il file si trova in https://yourdomain.com/robots.txt e in nessun altro luogo; ogni bot dei motori di ricerca lo legge per primo, confronta il proprio nome di User-agent con le Sue regole e poi decide quali percorsi può richiedere. Google, Bing e gli altri principali motori rispettano scrupolosamente questo protocollo, come documentato su robotstxt.org, il sito della specifica originale.
Scansione e indicizzazione: l’errore che rompe i siti
È la cosa più importante da capire prima di toccare il robots.txt: il robots.txt controlla la scansione, non l’indicizzazione. Sono due processi diversi e confonderli causa danni reali. La scansione è il bot di Google che richiede una pagina e ne legge il contenuto. L’indicizzazione è Google che decide di archiviare quella pagina e mostrarla nei risultati di ricerca. Vietare un URL nel robots.txt ferma solo la scansione: non garantisce che la pagina resti fuori dai risultati di ricerca.
Ecco la trappola: se altri siti rimandano a una pagina che Lei ha vietato, Google può comunque indicizzare l’URL sulla base di quel segnale esterno, mostrandolo nei risultati senza titolo né descrizione, solo il semplice link, spesso peggio per il Suo marchio che lasciarlo del tutto scansionabile. Peggio ancora, una volta vietata una pagina, il crawler di Google non può più recuperarla, il che significa che non potrà mai leggere nemmeno un meta tag noindex su di essa. Una pagina bloccata nel robots.txt è invisibile proprio al meccanismo che la rimuoverebbe correttamente dall’indice.
La soluzione corretta a «non voglio questa pagina nei risultati di ricerca» è quasi sempre un tag <meta name="robots" content="noindex"> sulla pagina stessa, lasciata del tutto scansionabile in modo che Google possa vedere e rispettare quell’istruzione. Riservi le regole Disallow del robots.txt alle pagine che non vuole siano scansionate affatto — risultati di ricerca interna, URL filtrati/a faccette che creano infinite combinazioni duplicate, ambienti di staging o aree di amministrazione — non alle pagine che sta cercando di rimuovere dalla ricerca.
La questione dei crawler di IA che ogni editore affronta oggi
Dal 2023 nei log dei server è comparsa una nuova categoria di crawler: bot che non indicizzano la Sua pagina per la ricerca, ma ne raccolgono i contenuti per addestrare o fondare modelli linguistici di grandi dimensioni. GPTBot (OpenAI), CCBot (il crawler dietro il dataset Common Crawl usato da molti laboratori di IA), Google-Extended (un token del robots.txt, distinto da Googlebot, che controlla se i contenuti già scansionati da Google vengono usati per addestrare e fondare Gemini; Google afferma che non influisce sull’inclusione in Google Search), ClaudeBot (Anthropic) e PerplexityBot (Perplexity AI) sono quelli su cui i proprietari di siti si interrogano di più.
Qui c’è un vero compromesso, non una risposta netta. Bloccare questi crawler chiede ai loro operatori di tenere i Suoi contenuti fuori dai propri set di addestramento di IA (il rispetto è volontario e un blocco non rimuove ciò che è già stato raccolto): cosa che alcuni editori desiderano, soprattutto se le risposte generate dall’IA soddisfano le ricerche senza inviare un clic alla pagina originale.
Ma bloccarli significa anche che il Suo marchio, i Suoi dati e la Sua competenza non emergeranno quando qualcuno pone a un assistente di IA una domanda a cui i Suoi contenuti avrebbero potuto rispondere. Per un’azienda che vive dell’essere trovata — la maggior parte delle aziende — questo compromesso merita una decisione ponderata, non un’impostazione predefinita. Questo generatore rende ogni crawler di IA una casella a sé proprio perché Lei scelga con consapevolezza, anziché copiare e incollare un elenco di blocco generico trovato online.
Le direttive più comuni del robots.txt spiegate
- User-agent — indica a quale crawler si applicano le regole seguenti.
*corrisponde a tutti i crawler che non hanno un blocco più specifico. - Disallow — dice al crawler indicato di non richiedere gli URL corrispondenti a questo percorso. Un valore vuoto significa che nulla è bloccato.
- Allow — ricava un’eccezione all’interno di un percorso vietato, usata più spesso per lasciar passare un file specifico (come una risorsa CSS o JS) anche se la cartella che lo contiene è bloccata.
- Crawl-delay — chiede a un bot di attendere un certo numero di secondi tra le richieste. Google non lo supporta (la sua documentazione sul robots.txt elenca solo user-agent, allow, disallow e sitemap); altri crawler lo leggono, ma il supporto varia da bot a bot. Lo usi con parsimonia: un ritardo elevato può rallentare la velocità con cui un crawler che lo rispetta scopre nuovi contenuti.
- Sitemap — un URL assoluto che punta alla Sua sitemap XML. È l’unica direttiva letta da ogni motore di ricerca indipendentemente dal blocco User-agent in cui si trova.
Che cosa NON inserire nel robots.txt
Il robots.txt è un file pubblico. Chiunque — un concorrente, un ricercatore di sicurezza, un visitatore curioso — può visitare yourdomain.com/robots.txt e leggere ogni percorso che ha elencato. Non usi mai una regola Disallow per cercare di «nascondere» un pannello di amministrazione, una sottodirectory di staging con dati sensibili o una pagina di prodotto non ancora lanciata. Elencare il percorso nel robots.txt spesso attira più attenzione che lasciarlo non elencato, perché pubblica l’esatta struttura degli URL a chiunque controlli. Se qualcosa deve davvero restare privato, lo protegga con un’autenticazione o una regola del firewall, non con un file di testo che chiede cortesemente ai bot educati di guardare altrove: non tutti i bot sono educati e il robots.txt è puramente volontario.
Il robots.txt è un piccolo tassello di un quadro più ampio di scansione e indicizzazione. I servizi SEO di Arb Digital comprendono audit tecnici, indicizzazione e architettura del sito.
Scopra i nostri servizi SEO Tutti gli strumenti gratuitiErrori comuni da evitare
- Bloccare le cartelle CSS/JS. Google visualizza le pagine come un browser; bloccare le directory dei fogli di stile o degli script può fargli vedere una pagina rotta e priva di stile e giudicarne male la qualità.
- Usare Disallow per rimuovere pagine indicizzate. Non funziona in modo affidabile e può ritorcersi contro: usi invece i tag noindex su una pagina scansionabile.
- Dimenticare la riga della sitemap. Costa una riga e aiuta ogni crawler a trovare la Sua sitemap senza invio manuale.
- Errori nel nome o nella posizione del file. Deve chiamarsi esattamente
robots.txt, in minuscolo, nella radice del dominio: non in una sottocartella e nonRobots.TXT. - Bloccare tutto per errore su un sito in produzione. Un
Disallow: /rimasto da un ambiente di staging è una delle cause più comuni della scomparsa improvvisa di un sito dai risultati di ricerca. - Presumere che il robots.txt tenga una pagina fuori dai risultati di ricerca. Blocca solo la scansione: veda la sezione sopra su scansione e indicizzazione.
Strumenti gratuiti correlati di Arb Digital
Una volta online il Suo robots.txt, lo abbini al generatore di sitemap XML per creare la sitemap che ha indicato sopra. Se sta pianificando modifiche agli URL, il generatore di redirect htaccess gestisce i 301 nel modo corretto. Verifichi se una pagina è davvero indicizzata con il verificatore della cache di Google, riveda i tag on-page con il generatore di meta tag, aggiunga dati strutturati con il generatore di markup schema oppure sfogli il nostro hub di strumenti online gratuiti.
Esempio svolto con i valori predefiniti
Apra questa pagina e osservi il riquadro di output senza modificare nulla (il file viene generato al caricamento; premere Genera lo ripete). Questi sono i valori iniziali, ricavati direttamente dal modulo:
- Preset: wordpress
- User-agent: *
- URL della sitemap: https://www.example.com/sitemap.xml
- Crawl-delay: vuoto
- Caselle dei crawler di IA: tutte e cinque deselezionate
Il generatore restituisce quanto segue, calcolato dallo stesso codice che gira qui sopra:
- Stato: 6 regole
- Righe di direttive: 6
- Blocchi user-agent: 1
- Crawler di IA bloccati: 0
- Righe Sitemap: 1
L’output è un unico blocco User-agent: * con cinque righe Disallow (/wp-admin/, /readme.html, /trackback/, /?s=, /search/), una riga Allow: /wp-admin/admin-ajax.php e una riga vuota seguita da Sitemap: https://www.example.com/sitemap.xml. La riga di stato riporta “1 blocco user-agent”. Se seleziona le cinque caselle di IA, ciascuna aggiunge un proprio blocco con Disallow: /, quindi i conteggi salgono a 11 righe di direttive e 6 blocchi.
Come leggere il risultato
- Righe di direttive conta le righe Disallow, Allow e Crawl-delay più una per ogni bot di IA bloccato. Non conta le righe User-agent né Sitemap.
- Sostituisca l’URL di sitemap di esempio con quello reale. Il valore predefinito è un segnaposto che non esiste.
- Mantenga CSS/JS scansionabili. Il preset WordPress lascia di proposito aperte
/wp-includes/e/wp-content/plugins/, perché contengono script e stili necessari alle Sue pagine per essere visualizzate. Google consiglia di lasciare che i crawler recuperino queste risorse, quindi eviti di aggiungerle di nuovo. - Cerchi
Disallow: /sottoUser-agent: *. Blocca l’intero sito e va usato solo su una copia di staging.
Che cosa fare dopo
- Carichi il file in
/robots.txtnella radice del dominio, poi lo apra in un browser per verificare che si carichi come testo semplice. - Verifichi alcuni URL importanti con il report robots.txt e lo strumento Controllo URL di Google Search Console.
- Crei la sitemap indicata con il generatore di sitemap XML e usi noindex, non Disallow, per le pagine che vuole fuori dalla ricerca.
Domande frequenti
Non in modo affidabile. Il robots.txt blocca solo la scansione. Se altri siti rimandano a un URL vietato, Google può comunque indicizzarlo e mostrarlo, di solito come semplice link senza snippet, perché a Google non è mai stato permesso leggere la pagina. Per tenere in modo affidabile una pagina fuori dai risultati di ricerca, la lasci scansionabile e aggiunga invece un meta tag noindex.
Dipende dai Suoi obiettivi. Bloccarli chiede a quegli operatori di tenere i Suoi contenuti fuori dai dati di addestramento dei modelli di IA (Google-Extended riguarda l’addestramento e il grounding di Gemini e Google afferma che non influisce sull’inclusione in Search). Il rispetto è volontario e bloccare può anche significare che gli assistenti di IA citano meno i Suoi contenuti, con un possibile costo in visibilità. Non esiste una risposta universalmente corretta: questo generatore Le permette di scegliere ogni crawler singolarmente.
Deve trovarsi nella radice del Suo dominio, per esempio https://www.example.com/robots.txt. Non verrà riconosciuto in una sottocartella come /blog/robots.txt e ogni sottodominio ne richiede una copia propria se ha regole di scansione diverse.
Chiede a un crawler di attendere un certo numero di secondi tra le richieste per ridurre il carico sul server. Google non supporta questa direttiva, quindi non ha alcun effetto su Googlebot. Alcuni altri crawler la leggono, ma il supporto varia da bot a bot e un valore elevato può rallentare la velocità con cui quei crawler scoprono nuove pagine.
No. Il robots.txt è un file pubblico che chiunque può consultare. Elencarvi un percorso sensibile ne rende pubblica l’esatta posizione a chiunque guardi, compresi i bot che ignorano del tutto le regole. Usi l’autenticazione o controlli di accesso a livello di server per tutto ciò che deve davvero restare privato.
Tecnicamente no: se non esiste, i crawler presumono che tutto sia consentito. Ma averne uno resta una buona pratica: Le permette di indirizzare i crawler alla Sua sitemap, di bloccare percorsi di scansione di scarso valore come la ricerca interna o gli URL filtrati e di compiere una scelta ponderata sui crawler di IA, anziché lasciare tutto questo al comportamento predefinito.