Generador de robots.txt

Com fer servir el generador de robots.txt

1. A Comença amb, tria una plantilla: Permet-ho tot, Bloqueja-ho tot, Bloqueja els rastrejadors d’IA o WordPress. Després pots canviar totes les línies.
2. A cada grup, llista els User agents als quals s’apliquen les regles, un per línia. * vol dir tots els rastrejadors que no tenen un grup propi.
3. Afegeix regles Allow i Disallow amb Afegeix una regla. Els camins comencen per / i distingeixen majúscules de minúscules.
4. Si vols, defineix un Crawl-delay per als rastrejadors que el admeten, i afegeix més grups amb Afegeix un grup d’user-agent.
5. Llista les URL de mapes del web, una URL absoluta per línia.
6. Revisa les Comprovacions i després Baixa el fitxer (ja es diu robots.txt) o Copia‘l, i puja’l a l’arrel del teu lloc, per exemple https://example.com/robots.txt.

Tot funciona al teu navegador: res del que escrius s’envia a cap servidor.

Com funciona robots.txt

Un fitxer robots.txt indica als rastrejadors quines parts d’un lloc poden baixar. Segueix el Protocol d’exclusió de robots, estandarditzat com a RFC 9309 el 2022. El fitxer només s’aplica al servidor i protocol exactes on es serveix: https://botiga.example.com/robots.txt no cobreix https://example.com.

Cada grup comença amb una o més línies User-agent seguides de regles. Un rastrejador fa servir el grup el user agent del qual coincideix més específicament amb el seu nom, i ignora els altres; si no n’hi ha cap, recorre al grup *. Dins del grup, Google aplica la regla amb el camí coincident més llarg, i quan una regla Allow i una Disallow tenen la mateixa longitud, guanya Allow. Per això funciona Disallow: /wp-admin/ combinat amb Allow: /wp-admin/admin-ajax.php.

Els principals cercadors admeten dos comodins: * coincideix amb qualsevol seqüència de caràcters, i $ al final d’un camí vol dir «la URL acaba aquí». Per exemple, Disallow: /*.pdf$ bloqueja totes les URL que acaben en .pdf. Un Disallow: buit vol dir que no es bloqueja res, que és com aquesta eina escriu un grup sense regles.

Comprovacions que es fan

• Un grup sense user agent, que els rastrejadors ignorarien.
• Camins que no comencen per /, que contenen espais o caràcters accentuats (cal codificar-los en percentatge) o que fan servir $ pel mig.
• El mateix camí permès i denegat alhora en un grup.
• Un user agent que apareix en diversos grups: Google els fusiona, però altres rastrejadors poden llegir només el primer.
• URL de mapes del web relatives o no vàlides, i un fitxer de més de 500 KiB, el límit a partir del qual Google deixa de llegir.
• Un Crawl-delay adreçat a Google, que l’ignora. Bing i alguns altres rastrejadors sí que el respecten; en el cas de Google, el ritme de rastreig s’ajusta automàticament a la rapidesa amb què respon el teu servidor.

Sobre els rastrejadors d’IA

La plantilla Bloqueja els rastrejadors d’IA manté permesos els cercadors normals i afegeix un grup que denega tot el lloc a GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider i meta-externalagent. Google-Extended i Applebot-Extended no són rastrejadors separats: són testimonis que indiquen a Google i a Apple que no facin servir el teu contingut per entrenar o fonamentar els seus models d’IA, sense afectar la indexació normal de cerca. Regularment apareixen nous rastrejadors d’IA, així que convé revisar la llista de tant en tant.