Generatore di robots.txt

Come usare il generatore di robots.txt

1. In Parti da, scegli un preset: Consenti tutto, Blocca tutto, Blocca i crawler di IA o WordPress. Poi puoi modificare ogni riga.
2. In ogni gruppo, elenca gli User agent a cui si applicano le regole, uno per riga. * indica tutti i crawler che non hanno un gruppo proprio.
3. Aggiungi regole Allow e Disallow con Aggiungi una regola. I percorsi iniziano con / e distinguono tra maiuscole e minuscole.
4. Se vuoi, imposta un Crawl-delay per i crawler che lo supportano e aggiungi altri gruppi con Aggiungi un gruppo di user agent.
5. Elenca gli URL delle sitemap, un URL assoluto per riga.
6. Controlla i Controlli, poi usa Scarica per salvare il file (si chiama già robots.txt) oppure Copia, e caricalo nella radice del tuo sito, per esempio https://example.com/robots.txt.

Tutto viene generato nel tuo browser: le tue regole non vengono inviate a nessun server.

Come funziona robots.txt

Un file robots.txt indica ai crawler quali parti di un sito possono scaricare. Segue il Robots Exclusion Protocol, standardizzato come RFC 9309 nel 2022. Il file vale solo per l’host e il protocollo esatti su cui viene servito: https://shop.example.com/robots.txt non copre https://example.com.

Ogni gruppo inizia con una o più righe User-agent seguite dalle regole. Un crawler usa il gruppo il cui user agent corrisponde al suo nome nel modo più specifico e ignora gli altri; se nessuno corrisponde, ripiega sul gruppo *. All’interno del gruppo, Google applica la regola con il percorso corrispondente più lungo e, quando una regola Allow e una Disallow hanno la stessa lunghezza, vince Allow. Ecco perché Disallow: /wp-admin/ insieme a Allow: /wp-admin/admin-ajax.php funziona.

I principali motori di ricerca supportano due caratteri jolly: * corrisponde a qualsiasi sequenza di caratteri e $ alla fine di un percorso significa «l’URL finisce qui». Per esempio, Disallow: /*.pdf$ blocca ogni URL che termina con .pdf. Un Disallow: vuoto significa che non è bloccato nulla: è così che lo strumento scrive un gruppo senza regole.

Controlli eseguiti

• Un gruppo senza user agent, che i crawler ignorerebbero.
• Percorsi che non iniziano con /, che contengono spazi o lettere accentate (vanno scritti in percent-encoding, per esempio /caff%C3%A8 per /caffè) o che usano $ nel mezzo.
• Lo stesso percorso sia consentito sia bloccato nello stesso gruppo.
• Uno user agent presente in più gruppi: Google li unisce, ma altri crawler potrebbero leggere solo il primo.
• URL di sitemap relativi o non validi, e un file più grande di 500 KiB, il limite oltre il quale Google smette di leggere.
• Un Crawl-delay rivolto a Google, che lo ignora. Bing e alcuni altri crawler lo rispettano; per Google, la frequenza di scansione si adatta automaticamente alla velocità di risposta del tuo server.

I crawler di intelligenza artificiale

Il preset Blocca i crawler di IA lascia consentiti i normali motori di ricerca e aggiunge un gruppo che blocca l’intero sito per GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider e meta-externalagent. Google-Extended e Applebot-Extended non sono crawler separati: sono token che dicono a Google e Apple di non usare i tuoi contenuti per addestrare o alimentare i loro modelli di IA, senza toccare la normale indicizzazione. Nuovi crawler di IA compaiono di continuo, quindi rivedi l’elenco di tanto in tanto.