Utilia
Kategorier ▾
Språk: nb ▾

Robots.txt-generator

Opprett en gyldig robots.txt-fil med bruker-agent-grupper, Tillat- og Ikke-tillat-regler, sitemaps og crawl-delay, med sjekker for vanlige feil.

Start fra

Sjekker

Slik bruker du robots.txt-generatoren

  1. Under Start fra velger du en mal: Tillat alt, Blokker alt, Blokker AI-krawlere eller WordPress. Du kan deretter endre hver linje.
  2. I hver gruppe skriver du inn User-agent-linjene reglene gjelder for, én per linje. * betyr alle crawlere som ikke har sin egen gruppe.
  3. Legg til Tillat- og Ikke-tillat-regler med Legg til en regel. Stier starter med / og skiller mellom store og små bokstaver.
  4. Om du vil, angir du en Crawl-delay for crawlere som støtter det, og legger til flere grupper med Legg til en bruker-agent-gruppe.
  5. Skriv inn Sitemap-URL-ene dine, én absolutt URL per linje.
  6. Gå gjennom Sjekker-listen, Last ned filen (den heter allerede robots.txt) eller Kopier den, og last den opp til roten av nettstedet ditt, for eksempel https://example.com/robots.txt.

Slik fungerer robots.txt

En robots.txt-fil forteller crawlere hvilke deler av et nettsted de kan hente. Den følger Robots Exclusion Protocol, standardisert som RFC 9309 i 2022. Filen gjelder bare for den nøyaktige verten og protokollen den serveres på: https://butikk.example.com/robots.txt dekker ikke https://example.com.

Hver gruppe starter med én eller flere User-agent-linjer fulgt av regler. En crawler bruker den gruppen hvis User-agent matcher navnet mest spesifikt, og ignorerer de andre. Hvis ingenting matcher, bruker den *-gruppen. Innenfor gruppen bruker Google regelen med den lengste matchende stien, og når en Tillat-regel og en Ikke-tillat-regel er like lange, vinner Tillat. Det er derfor Disallow: /wp-admin/ kombinert med Allow: /wp-admin/admin-ajax.php fungerer.

To jokertegn støttes av de store søkemotorene: * matcher en hvilken som helst tegnsekvens, og $ på slutten av en sti betyr «URL-en slutter her». For eksempel blokkerer Disallow: /*.pdf$ alle URL-er som slutter på .pdf. En tom Disallow: betyr at ingenting er blokkert, og det er slik dette verktøyet skriver en gruppe uten regler.

Kontroller som utføres

  • En gruppe uten User-agent, som crawlere ville ignorert.
  • Stier som ikke starter med /, inneholder mellomrom eller tegn som æ, ø og å (disse må prosentkodes), eller bruker $ midt i stien.
  • Samme sti både tillatt og forbudt i én gruppe.
  • En User-agent som forekommer i flere grupper: Google slår dem sammen, men andre crawlere leser kanskje bare den første.
  • Relative eller ugyldige sitemap-URL-er, og en fil som er større enn 500 KiB, som er grensen der Google slutter å lese.
  • En Crawl-delay rettet mot Google, som ignorerer den. Bing og enkelte andre crawlere respekterer den. Google justerer crawl-hastigheten automatisk etter hvor raskt serveren din svarer.

Om AI-crawlere

Malen Blokker AI-krawlere lar vanlige søkemotorer slippe til og legger til en gruppe som forbyr hele nettstedet for GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider og meta-externalagent. Google-Extended og Applebot-Extended er ikke egne crawlere: de er tokens som forteller Google og Apple at innholdet ditt ikke skal brukes til å trene eller underbygge AI-modellene deres, uten at det påvirker vanlig søkeindeksering. Nye AI-crawlere dukker opp jevnlig, så gå gjennom listen fra tid til annen.

Ofte stilte spørsmål

Fjerner Disallow en side fra Google?

Nei. Disallow stopper gjennomsøking, ikke indeksering. En blokkert URL kan fortsatt vises i resultatene, uten beskrivelse, hvis andre nettsteder lenker til den. For å holde en side ute av søkeresultatene lar du den heller bli gjennomsøkt og legger til en robots-metatagg med noindex.

Er robots.txt et sikkerhetstiltak?

Nei. Det er en offentlig fil som skikkelige crawlere følger frivillig. Hvem som helst kan lese den, og ondsinnede roboter ignorerer den. Beskytt private områder med pålogging, ikke med robots.txt.

Hvor må filen plasseres?

I roten av verten, med nøyaktig navnet robots.txt i små bokstaver: https://example.com/robots.txt. En fil i en undermappe ignoreres.

Hvorfor ignorerer Google Crawl-delay?

Google justerer crawl-hastigheten automatisk ut fra hvor raskt og pålitelig serveren din svarer. Hvis Googlebot overbelaster serveren din, kan du midlertidig svare med statuskodene 503 eller 429 for å bremse den.

Hvor lang tid tar det før endringer trer i kraft?

Google mellomlagrer robots.txt i opptil 24 timer, så en endring kan ta en dag før den tas hensyn til. Du kan sjekke den hentede versjonen i robots.txt-rapporten i Search Console.

Relaterte verktøy