Robots.txt-generator

Sådan bruger du robots.txt-generatoren

1. Under Start med vælger du en skabelon: Tillad alt, Bloker alt, Bloker AI-crawlere eller WordPress. Bagefter kan du ændre hver eneste linje.
2. I hver gruppe angiver du de User agents, reglerne gælder for, én pr. linje. * betyder alle crawlere, der ikke har deres egen gruppe.
3. Tilføj Allow- og Disallow-regler med Tilføj en regel. Stier begynder med / og skelner mellem store og små bogstaver.
4. Angiv eventuelt Crawl-delay i sekunder (valgfri) til crawlere, der understøtter den, og tilføj flere grupper med Tilføj en user-agent-gruppe.
5. Angiv dine Sitemap-adresser (én pr. linje), én absolut adresse pr. linje.
6. Gennemgå Kontrol, og Download derefter filen (den hedder allerede robots.txt), eller Kopiér den, og upload den til rodmappen på dit websted, for eksempel https://example.dk/robots.txt.

Alt kører i din browser. Intet, du indtaster, sendes til en server.

Sådan virker robots.txt

En robots.txt-fil fortæller crawlere, hvilke dele af et websted de må hente. Den følger Robots Exclusion Protocol, standardiseret som RFC 9309 i 2022. Filen gælder kun for den præcise vært og protokol, hvor den ligger: https://shop.example.dk/robots.txt dækker ikke https://example.dk.

Hver gruppe begynder med en eller flere User-agent-linjer efterfulgt af regler. En crawler bruger den gruppe, hvis user agent matcher dens navn mest præcist, og ignorerer de andre; hvis intet matcher, falder den tilbage på gruppen *. Inden for gruppen anvender Google den regel, der har den længste matchende sti, og når en Allow- og en Disallow-regel er lige lange, vinder Allow. Det er derfor, Disallow: /wp-admin/ kombineret med Allow: /wp-admin/admin-ajax.php virker.

To jokertegn understøttes af de store søgemaskiner: * matcher en vilkårlig række tegn, og $ i slutningen af en sti betyder »adressen slutter her«. For eksempel blokerer Disallow: /*.pdf$ alle adresser, der slutter på .pdf. Et tomt Disallow: betyder, at intet er blokeret, og det er sådan, værktøjet skriver en gruppe uden regler.

Kontroller, der udføres

• En gruppe uden user agent, som crawlere ville ignorere.
• Stier, der ikke begynder med /, indeholder mellemrum eller tegn med accent (de skal være procentkodede) eller bruger $ midt i.
• Den samme sti både tilladt og forbudt i én gruppe.
• En user agent, der optræder i flere grupper: Google slår dem sammen, men andre crawlere læser måske kun den første.
• Relative eller ugyldige sitemap-adresser og en fil på over 500 KiB, grænsen hvorefter Google holder op med at læse.
• En Crawl-delay rettet mod Google, som ignorerer den. Bing og nogle andre crawlere respekterer den; for Google justeres crawlhastigheden automatisk efter, hvor hurtigt din server svarer.

Om AI-crawlere

Skabelonen Bloker AI-crawlere lader almindelige søgemaskiner være tilladt og tilføjer en gruppe, der forbyder hele websitet for GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider og meta-externalagent. Google-Extended og Applebot-Extended er ikke separate crawlere: de er tokens, der fortæller Google og Apple, at de ikke må bruge dit indhold til at træne eller underbygge deres AI-modeller, uden at det påvirker den almindelige søgeindeksering. Der kommer jævnligt nye AI-crawlere, så gennemgå listen en gang imellem.