Robots.txt generaator

Kuidas robots.txt generaatorit kasutada

1. Vali jaotises Alusta mallist eelseadistus: Luba kõik, Blokeeri kõik, Blokeeri tehisintellekti roomajad või WordPress. Seejärel saad muuta iga rida.
2. Loetle igas rühmas Kasutajaagendid, millele reeglid kehtivad, üks rea kohta. * tähendab iga roomajat, millel pole oma rühma.
3. Lisa Allow (luba) ja Disallow (keela) reegleid nupuga Lisa reegel. Teed algavad märgiga / ja on tõstutundlikud.
4. Soovi korral määra Crawl-delay roomajatele, kes seda toetavad, ning lisa rohkem rühmi nupuga Lisa kasutajaagendi rühm.
5. Loetle oma Saidikaardi URL-id, üks absoluutne URL rea kohta.
6. Vaata Kontrollid üle, seejärel Laadi alla fail (see on juba nimega robots.txt) või Kopeeri see ning lae oma saidi juurkausta, näiteks https://example.com/robots.txt.

Tööriist töötab sinu brauseris: sinu reegleid ja aadresse ei saadeta serverisse.

Kuidas robots.txt töötab

Fail robots.txt ütleb roomajatele, milliseid saidi osi nad tohivad tuua. See järgib Robots Exclusion Protocoli, mis standardiseeriti 2022. aastal kui RFC 9309. Fail kehtib ainult täpselt sellele hostile ja protokollile, kus seda serveeritakse: https://shop.example.com/robots.txt ei kata aadressi https://example.com.

Iga rühm algab ühe või mitme User-agent reaga, millele järgnevad reeglid. Roomaja kasutab rühma, mille kasutajaagent sobib tema nimega kõige täpsemalt, ja ignoreerib teisi; kui miski ei sobi, kasutab ta varuvariandina rühma *. Rühma sees rakendab Google reeglit pikima sobiva teega ning kui Allow- ja Disallow-reegel on sama pikad, võidab Allow. Seepärast töötab Disallow: /wp-admin/ koos Allow: /wp-admin/admin-ajax.php-iga.

Suured otsingumootorid toetavad kahte metamärki: * sobib mis tahes märgijadaga ja $ tee lõpus tähendab „URL lõpeb siin“. Näiteks Disallow: /*.pdf$ blokeerib iga URL-i, mis lõpeb .pdf. Tühi Disallow: tähendab, et midagi ei blokeerita, ja nii kirjutab see tööriist reegliteta rühma.

Tehtavad kontrollid

• Rühm ilma kasutajaagendita, mida roomajad ignoreeriksid.
• Teed, mis ei alga märgiga /, sisaldavad tühikuid või diakriitikuga märke (need tuleb protsentkodeerida) või kasutavad $ keskel.
• Sama tee ühes rühmas korraga lubatud ja keelatud.
• Kasutajaagent, mis esineb mitmes rühmas: Google ühendab need, kuid teised roomajad võivad lugeda ainult esimest.
• Suhtelised või kehtetud saidikaardi URL-id ning fail, mis on suurem kui 500 KiB, piir, mille järel Google lugemise lõpetab.
• Googlele suunatud Crawl-delay, mida Google ignoreerib. Bing ja mõned teised roomajad arvestavad sellega; Google’i puhul kohandub roomamise kiirus automaatselt sinu serveri vastamiskiirusele.

Tehisintellekti roomajatest

Eelseadistus Blokeeri tehisintellekti roomajad jätab tavalised otsingumootorid lubatuks ja lisab rühma, mis keelab kogu saidi GPTBotile (OpenAI), ClaudeBotile (Anthropic), CCBotile (Common Crawl), Google-Extendedile, Applebot-Extendedile, PerplexityBotile, Bytespiderile ja meta-externalagentile. Google-Extended ja Applebot-Extended ei ole eraldi roomajad: need on märgendid, mis ütlevad Googlele ja Applele, et nad ei kasutaks sinu sisu oma tehisintellektimudelite treenimiseks ega aluseks, mõjutamata tavalist otsinguindekseerimist. Uusi tehisintellekti roomajaid ilmub regulaarselt, seega vaata loend aeg-ajalt üle.