Robots.txt-generator

Så använder du robots.txt-generatorn

1. Under Utgå från väljer du en förinställning: Tillåt allt, Blockera allt, Blockera AI-robotar eller WordPress. Därefter kan du ändra varje rad.
2. I varje grupp listar du de User agents som reglerna gäller, en per rad. * betyder varje robot som inte har en egen grupp.
3. Lägg till Allow (tillåt)- och Disallow (förbjud)-regler med Lägg till en regel. Sökvägar börjar med / och skiljer på versaler och gemener.
4. Ange vid behov Crawl-delay i sekunder (valfritt) för robotar som stöder det, och lägg till fler grupper med Lägg till en user-agent-grupp.
5. Lista dina Webbadresser till webbplatskartor, en absolut webbadress per rad.
6. Gå igenom Kontroller och Ladda ner sedan filen (den heter redan robots.txt) eller Kopiera den, och ladda upp den till roten av din webbplats, till exempel https://example.com/robots.txt.

Allt körs i din webbläsare: inget du skriver in skickas till en server.

Så fungerar robots.txt

En robots.txt-fil talar om för robotar vilka delar av en webbplats de får hämta. Den följer Robots Exclusion Protocol, som standardiserades som RFC 9309 år 2022. Filen gäller bara exakt den värd och det protokoll där den levereras: https://shop.example.com/robots.txt täcker inte https://example.com.

Varje grupp börjar med en eller flera User-agent-rader följda av regler. En robot använder den grupp vars user agent matchar dess namn mest specifikt och ignorerar de andra; om inget matchar faller den tillbaka på gruppen *. Inom gruppen tillämpar Google regeln med den längsta matchande sökvägen, och när en Allow- och en Disallow-regel är lika långa vinner Allow. Därför fungerar Disallow: /wp-admin/ tillsammans med Allow: /wp-admin/admin-ajax.php.

De stora sökmotorerna stöder två jokertecken: * matchar vilken teckenföljd som helst, och $ sist i en sökväg betyder ”webbadressen slutar här”. Till exempel blockerar Disallow: /*.pdf$ varje webbadress som slutar på .pdf. Ett tomt Disallow: betyder att ingenting blockeras, och så skriver verktyget en grupp utan regler.

Kontroller som utförs

• En grupp utan user agent, som robotar skulle ignorera.
• Sökvägar som inte börjar med /, innehåller mellanslag eller tecken som å, ä och ö (de måste procentkodas) eller använder $ mitt i.
• Samma sökväg både tillåten och förbjuden i en grupp.
• En user agent som förekommer i flera grupper: Google slår ihop dem, men andra robotar kanske bara läser den första.
• Relativa eller ogiltiga webbadresser till webbplatskartor, och en fil som är större än 500 KiB, gränsen efter vilken Google slutar läsa.
• En Crawl-delay riktad till Google, som ignorerar den. Bing och en del andra robotar följer den; för Google justeras genomsökningstakten automatiskt efter hur snabbt din server svarar.

Om AI-robotar

Förinställningen Blockera AI-robotar låter vanliga sökmotorer vara tillåtna och lägger till en grupp som förbjuder hela webbplatsen för GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider och meta-externalagent. Google-Extended och Applebot-Extended är inte separata robotar: de är token som säger åt Google och Apple att inte använda ditt innehåll för att träna eller förankra sina AI-modeller, utan att påverka den vanliga sökindexeringen. Nya AI-robotar dyker upp regelbundet, så gå igenom listan då och då.