Générateur de robots.txt

Comment utiliser le générateur de robots.txt

1. Dans Partir de, choisissez un modèle : Tout autoriser, Tout bloquer, Bloquer les robots d’IA ou WordPress. Chaque ligne reste modifiable.
2. Dans chaque groupe, indiquez les Agents utilisateurs concernés, un par ligne. * désigne tous les robots qui n’ont pas de groupe à eux.
3. Ajoutez des règles Allow (autoriser) et Disallow (interdire) avec Ajouter une règle. Les chemins commencent par / et respectent la casse.
4. Au besoin, fixez un Crawl-delay pour les robots qui le prennent en charge, et créez d’autres groupes avec Ajouter un groupe d’agents.
5. Listez vos URL des sitemaps, une URL absolue par ligne.
6. Parcourez les Vérifications, puis cliquez sur Télécharger (le fichier s’appelle déjà robots.txt) ou sur Copier, et déposez-le à la racine de votre site, par exemple https://example.com/robots.txt.

Comment fonctionne le robots.txt ?

Le fichier robots.txt indique aux robots d’exploration quelles parties d’un site ils peuvent parcourir. Il suit le protocole d’exclusion des robots, normalisé en 2022 dans la RFC 9309. Il ne vaut que pour l’hôte et le protocole exacts où il est publié : https://boutique.example.com/robots.txt ne couvre pas https://example.com.

Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles. Un robot applique le groupe dont l’agent correspond le plus précisément à son nom et ignore les autres ; à défaut, il se rabat sur le groupe *. Dans ce groupe, Google retient la règle dont le chemin correspondant est le plus long, et lorsqu’une règle Allow et une règle Disallow ont la même longueur, c’est Allow qui l’emporte. C’est pourquoi Disallow: /wp-admin/ associé à Allow: /wp-admin/admin-ajax.php fonctionne.

Les grands moteurs acceptent deux jokers : * remplace n’importe quelle suite de caractères, et $ en fin de chemin signifie « l’URL se termine ici ». Ainsi, Disallow: /*.pdf$ bloque toutes les URL qui finissent par .pdf. Un Disallow: vide signifie que rien n’est bloqué : c’est ainsi que l’outil écrit un groupe sans règle.

Les vérifications effectuées

• Un groupe sans agent utilisateur, que les robots ignoreraient.
• Des chemins qui ne commencent pas par /, qui contiennent des espaces ou des lettres accentuées (à encoder en pourcentage) ou qui placent $ au milieu.
• Un même chemin à la fois autorisé et interdit dans un groupe.
• Un agent présent dans plusieurs groupes : Google les fusionne, mais d’autres robots ne liront que le premier.
• Des URL de sitemap relatives ou invalides, et un fichier de plus de 500 Kio, limite au-delà de laquelle Google arrête sa lecture.
• Un Crawl-delay destiné à Google, qui l’ignore. Bing et certains autres robots le respectent ; chez Google, la fréquence d’exploration s’ajuste d’elle-même à la réactivité de votre serveur.

À propos des robots d’IA

Le modèle Bloquer les robots d’IA laisse passer les moteurs de recherche et ajoute un groupe qui interdit tout le site à GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider et meta-externalagent. Google-Extended et Applebot-Extended ne sont pas des robots à part : ce sont des jetons qui demandent à Google et à Apple de ne pas utiliser vos contenus pour entraîner ou alimenter leurs modèles d’IA, sans toucher à l’indexation classique. De nouveaux robots d’IA apparaissent régulièrement : revoyez la liste de temps en temps.