Robots.txt-generaattori

Näin käytät robots.txt-generaattoria

1. Valitse kohdasta Aloita pohjasta valmis pohja: Salli kaikki, Estä kaikki, Estä tekoälyindeksoijat tai WordPress. Voit sen jälkeen muokata jokaista riviä.
2. Listaa jokaisessa ryhmässä User agentit, joihin säännöt koskevat, yksi per rivi. * tarkoittaa jokaista indeksoijaa, jolla ei ole omaa ryhmää.
3. Lisää Allow- ja Disallow-säännöt kohdalla Lisää sääntö. Polut alkavat merkillä /, ja niissä kirjainkoolla on väliä.
4. Aseta halutessasi Crawl-delay indeksoijille, jotka tukevat sitä, ja lisää ryhmiä kohdalla Lisää user agent -ryhmä.
5. Listaa Sivukartan URL-osoitteet, yksi absoluuttinen URL per rivi.
6. Katso Tarkistukset, sitten Lataa tiedosto (se on jo nimetty robots.txt) tai Kopioi se ja lataa se sivustosi juureen, esimerkiksi https://example.com/robots.txt.

Miten robots.txt toimii

robots.txt-tiedosto kertoo indeksoijille, mitä sivuston osia ne saavat hakea. Se noudattaa Robots Exclusion Protocol -protokollaa, joka standardoitiin vuonna 2022 nimellä RFC 9309. Tiedosto koskee vain täsmälleen sitä palvelinta ja protokollaa, jossa se tarjoillaan: https://kauppa.example.com/robots.txt ei kata osoitetta https://example.com.

Jokainen ryhmä alkaa yhdellä tai useammalla User-agent-rivillä, joita seuraavat säännöt. Indeksoija käyttää ryhmää, jonka user agent vastaa sen nimeä tarkimmin, ja ohittaa muut; jos mikään ei täsmää, se käyttää *-ryhmää. Ryhmän sisällä Google soveltaa sääntöä, jolla on pisin vastaava polku, ja jos Allow- ja Disallow-sääntö ovat yhtä pitkiä, Allow voittaa. Siksi Disallow: /wp-admin/ yhdistettynä sääntöön Allow: /wp-admin/admin-ajax.php toimii.

Suuret hakukoneet tukevat kahta jokerimerkkiä: * vastaa mitä tahansa merkkijonoa, ja $ polun lopussa tarkoittaa ”URL päättyy tähän”. Esimerkiksi Disallow: /*.pdf$ estää kaikki .pdf-päätteiset URL-osoitteet. Tyhjä Disallow: tarkoittaa, ettei mitään estetä, ja juuri näin tämä työkalu kirjoittaa säännöttömän ryhmän.

Suoritettavat tarkistukset

• Ryhmä ilman user agentia, jonka indeksoijat ohittaisivat.
• Polut, jotka eivät ala merkillä /, sisältävät välilyöntejä tai ääkkösiä (ne on prosenttikoodattava) tai käyttävät $-merkkiä keskellä.
• Sama polku sekä sallittuna että estettynä yhdessä ryhmässä.
• User agent, joka esiintyy useassa ryhmässä: Google yhdistää ne, mutta muut indeksoijat voivat lukea vain ensimmäisen.
• Suhteelliset tai virheelliset sivukarttojen URL-osoitteet sekä yli 500 KiB:n tiedosto, jonka jälkeen Google lopettaa lukemisen.
• Googlelle osoitettu Crawl-delay, jonka Google ohittaa. Bing ja jotkin muut indeksoijat noudattavat sitä; Googlella indeksointinopeus mukautuu automaattisesti palvelimesi vastausnopeuteen.

Tekoälyindeksoijista

Pohja Estä tekoälyindeksoijat pitää tavalliset hakukoneet sallittuina ja lisää ryhmän, joka estää koko sivuston GPTBotilta (OpenAI), ClaudeBotilta (Anthropic), CCBotilta (Common Crawl), Google-Extendedilta, Applebot-Extendedilta, PerplexityBotilta, Bytespiderilta ja meta-externalagentilta. Google-Extended ja Applebot-Extended eivät ole erillisiä indeksoijia: ne ovat tunnisteita, jotka kertovat Googlelle ja Applelle, ettei sisältöäsi saa käyttää tekoälymallien kouluttamiseen tai perustelemiseen, ilman että tavallinen hakuindeksointi muuttuu. Uusia tekoälyindeksoijia ilmestyy säännöllisesti, joten tarkista lista aika ajoin.