Robots.txt-generator

Zo gebruik je de robots.txt-generator

1. Kies onder Begin met een voorinstelling: Alles toestaan, Alles blokkeren, AI-crawlers blokkeren of WordPress. Daarna kun je elke regel aanpassen.
2. Zet in elke groep de User-agents waarvoor de regels gelden, één per regel. * betekent elke crawler die geen eigen groep heeft.
3. Voeg met Regel toevoegen regels van het type Allow en Disallow toe. Paden beginnen met / en zijn hoofdlettergevoelig.
4. Stel eventueel een Crawl-delay in voor crawlers die dat ondersteunen, en voeg meer groepen toe met User-agentgroep toevoegen.
5. Zet je Sitemap-URL’s erin, één absolute URL per regel.
6. Bekijk de Controles, klik op Downloaden (het bestand heet al robots.txt) of Kopiëren, en upload het naar de hoofdmap van je site, bijvoorbeeld https://example.com/robots.txt.

Alles wordt in je browser gegenereerd; er wordt niets verstuurd.

Hoe robots.txt werkt

Een robots.txt-bestand vertelt crawlers welke delen van een site ze mogen ophalen. Het volgt het Robots Exclusion Protocol, dat in 2022 is gestandaardiseerd als RFC 9309. Het bestand geldt alleen voor de exacte host en het protocol waar het staat: https://shop.example.com/robots.txt geldt niet voor https://example.com.

Elke groep begint met een of meer regels User-agent, gevolgd door de regels. Een crawler gebruikt de groep waarvan de user-agent het specifiekst bij zijn naam past en negeert de andere; past er niets, dan valt hij terug op de groep *. Binnen de groep past Google de regel toe met het langste overeenkomende pad, en zijn een Allow- en een Disallow-regel even lang, dan wint Allow. Daarom werkt Disallow: /wp-admin/ samen met Allow: /wp-admin/admin-ajax.php.

De grote zoekmachines ondersteunen twee jokertekens: * staat voor elke reeks tekens, en $ aan het einde van een pad betekent “hier eindigt de URL”. Disallow: /*.pdf$ blokkeert bijvoorbeeld elke URL die op .pdf eindigt. Een lege Disallow: betekent dat er niets wordt geblokkeerd; zo schrijft deze tool een groep zonder regels.

Uitgevoerde controles

• Een groep zonder user-agent, die crawlers zouden negeren.
• Paden die niet met / beginnen, spaties of letters met accenten bevatten (die moeten percent-gecodeerd worden) of $ in het midden gebruiken.
• Hetzelfde pad dat in één groep zowel toegestaan als geblokkeerd is.
• Een user-agent die in meerdere groepen staat: Google voegt ze samen, maar andere crawlers lezen misschien alleen de eerste.
• Relatieve of ongeldige sitemap-URL’s, en een bestand groter dan 500 KiB, de grens waarna Google stopt met lezen.
• Een Crawl-delay voor Google, dat die negeert. Bing en sommige andere crawlers houden er wel rekening mee; bij Google past de crawlsnelheid zich automatisch aan aan hoe snel je server reageert.

Over AI-crawlers

De voorinstelling AI-crawlers blokkeren laat gewone zoekmachines toe en voegt een groep toe die de hele site blokkeert voor GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider en meta-externalagent. Google-Extended en Applebot-Extended zijn geen aparte crawlers: het zijn tokens die Google en Apple vertellen je inhoud niet te gebruiken om hun AI-modellen te trainen of te voeden, zonder dat de gewone indexering voor zoekresultaten verandert. Er verschijnen regelmatig nieuwe AI-crawlers, dus loop de lijst af en toe na.