Generador de robots.txt

Cómo usar el generador de robots.txt

1. En Empezar desde, elige una plantilla: Permitir todo, Bloquear todo, Bloquear rastreadores de IA o WordPress. Después puedes modificar cada línea.
2. En cada grupo, enumera los User agents a los que se aplican las reglas, uno por línea. * significa cualquier rastreador que no tenga su propio grupo.
3. Añade reglas Allow y Disallow con Añadir una regla. Las rutas empiezan por / y distinguen entre mayúsculas y minúsculas.
4. Si quieres, define un Crawl-delay para los rastreadores que lo admiten y agrega más grupos con Añadir un grupo de user agents.
5. Enumera tus URL de sitemaps, una URL absoluta por línea.
6. Revisa las Comprobaciones y luego pulsa Descargar (el archivo ya se llama robots.txt) o Copiar, y súbelo a la raíz de tu sitio, por ejemplo https://example.com/robots.txt.

Cómo funciona robots.txt

Un archivo robots.txt indica a los rastreadores qué partes de un sitio pueden descargar. Sigue el protocolo de exclusión de robots (Robots Exclusion Protocol), estandarizado como RFC 9309 en 2022. El archivo solo se aplica al host y al protocolo exactos desde los que se sirve: https://shop.example.com/robots.txt no cubre https://example.com.

Cada grupo empieza con una o varias líneas User-agent seguidas de reglas. Un rastreador usa el grupo cuyo user agent coincide de forma más específica con su nombre e ignora los demás; si ninguno coincide, recurre al grupo *. Dentro del grupo, Google aplica la regla con la ruta coincidente más larga, y cuando una regla Allow y otra Disallow tienen la misma longitud, gana Allow. Por eso funciona combinar Disallow: /wp-admin/ con Allow: /wp-admin/admin-ajax.php.

Los principales buscadores admiten dos comodines: * coincide con cualquier secuencia de caracteres y $ al final de una ruta significa «la URL termina aquí». Por ejemplo, Disallow: /*.pdf$ bloquea todas las URL que terminan en .pdf. Un Disallow: vacío significa que no se bloquea nada, y así es como la herramienta escribe un grupo sin reglas.

Comprobaciones que se realizan

• Un grupo sin user agent, que los rastreadores ignorarían.
• Rutas que no empiezan por /, que contienen espacios o caracteres acentuados (deben ir con codificación porcentual) o que usan $ en medio.
• La misma ruta permitida y bloqueada a la vez en un grupo.
• Un user agent que aparece en varios grupos: Google los combina, pero otros rastreadores quizá solo lean el primero.
• URL de sitemap relativas o no válidas, y un archivo de más de 500 KiB, el límite a partir del cual Google deja de leer.
• Un Crawl-delay dirigido a Google, que lo ignora. Bing y algunos otros rastreadores sí lo respetan; en el caso de Google, la frecuencia de rastreo se ajusta automáticamente a la rapidez con la que responde tu servidor.

Sobre los rastreadores de IA

La plantilla Bloquear rastreadores de IA mantiene permitidos los buscadores normales y añade un grupo que bloquea todo el sitio para GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider y meta-externalagent. Google-Extended y Applebot-Extended no son rastreadores independientes: son tokens que indican a Google y a Apple que no usen tu contenido para entrenar o fundamentar sus modelos de IA, sin afectar a la indexación normal en el buscador. Aparecen nuevos rastreadores de IA con regularidad, así que revisa la lista de vez en cuando.