Robots.txt generatorius

Kaip naudoti robots.txt generatorių

1. Skiltyje Pradėti nuo pasirink šabloną: Leisti viską, Blokuoti viską, Blokuoti DI robotus arba WordPress. Paskui gali pakeisti kiekvieną eilutę.
2. Kiekvienoje grupėje išvardyk User-agent (po vieną eilutėje, * = visi robotai), kuriems taikomos taisyklės. * reiškia kiekvieną robotą, neturintį savo grupės.
3. Su Pridėti taisyklę pridėk Allow ir Disallow taisyklių. Keliai prasideda / ir yra jautrūs raidžių dydžiui.
4. Jei nori, nustatyk Crawl-delay sekundėmis (nebūtina) robotams, kurie tai palaiko, ir pridėk daugiau grupių su Pridėti user-agent grupę.
5. Išvardyk Svetainės žemėlapio URL (po vieną eilutėje), po vieną absoliutų URL eilutėje.
6. Peržiūrėk Patikros, tada Atsisiųsti failą (jis jau pavadintas robots.txt) arba Kopijuoti ir įkelk į savo svetainės šaknį, pavyzdžiui, https://example.com/robots.txt.

Viskas vyksta tavo naršyklėje: nieko, ką įvedi, nesiunčiame į serverį.

Kaip veikia robots.txt

Failas robots.txt nurodo robotams, kurias svetainės dalis jiems leidžiama atsisiųsti. Jis laikosi Robots Exclusion Protocol, kuris 2022 m. standartizuotas kaip RFC 9309. Failas galioja tik tam konkrečiam serveriui ir protokolui, kuriame patalpintas: https://shop.example.com/robots.txt neapima https://example.com.

Kiekviena grupė prasideda viena ar keliomis User-agent eilutėmis, po kurių eina taisyklės. Robotas naudoja grupę, kurios user-agent tiksliausiai atitinka jo pavadinimą, o kitų nepaiso; jei niekas neatitinka, naudojama * grupė. Grupės viduje Google taiko taisyklę su ilgiausiu atitinkančiu keliu, o kai Allow ir Disallow taisyklės vienodo ilgio, laimi Allow. Todėl veikia Disallow: /wp-admin/ kartu su Allow: /wp-admin/admin-ajax.php.

Pagrindinės paieškos sistemos palaiko du pakaitos simbolius: * atitinka bet kokią simbolių seką, o $ kelio gale reiškia „URL čia baigiasi“. Pavyzdžiui, Disallow: /*.pdf$ blokuoja kiekvieną URL, besibaigiantį .pdf. Tuščias Disallow: reiškia, kad niekas neblokuojama; būtent taip šis įrankis užrašo grupę be taisyklių.

Atliekamos patikros

• Grupė be user-agent, kurios robotai nepaisytų.
• Keliai, kurie neprasideda /, turi tarpų ar raidžių su diakritiniais ženklais (jie turi būti užkoduoti procentais) arba naudoja $ viduryje.
• Tas pats kelias vienoje grupėje ir leidžiamas, ir draudžiamas.
• User-agent, kuris yra keliose grupėse: Google jas sujungia, bet kiti robotai gali perskaityti tik pirmąją.
• Santykiniai ar netinkami svetainės žemėlapio URL ir didesnis nei 500 KiB failas – riba, po kurios Google nustoja skaityti.
• Crawl-delay, skirtas Google, kuris jo ignoruoja. Bing ir kai kurie kiti robotai jo paiso; Google nuskaitymo greitis prisitaiko automatiškai pagal tai, kaip greitai atsako tavo serveris.

Apie dirbtinio intelekto robotus

Šablonas Blokuoti DI robotus palieka leidžiamas įprastas paieškos sistemas ir prideda grupę, kuri draudžia visą svetainę GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider ir meta-externalagent. Google-Extended ir Applebot-Extended nėra atskiri robotai: tai žymekliai, kurie nurodo Google ir Apple nenaudoti tavo turinio jų DI modeliams mokyti ar pagrįsti, nepaveikdami įprasto paieškos indeksavimo. Nauji DI robotai atsiranda nuolat, todėl retkarčiais peržiūrėk sąrašą.