Utilia
Kategorije ▾
Jezik: sl ▾

Generator robots.txt

Ustvari veljavno datoteko robots.txt s skupinami user-agentov, pravili Allow in Disallow, zemljevidi strani in crawl-delay, s preverjanjem pogostih napak.

Začni z

Preverjanja

Kako uporabljaš generator robots.txt

  1. Pod Začni z izberi predlogo: Dovoli vse, Blokiraj vse, Blokiraj pajke UI ali WordPress. Nato lahko spremeniš vsako vrstico.
  2. V vsaki skupini navedi User-agenti (po eden v vrstici, * = vsi pajki), za katere veljajo pravila. * pomeni vsakega pajka, ki nima svoje skupine.
  3. Z Dodaj pravilo dodaj pravila Allow in Disallow. Poti se začnejo z / in razlikujejo velike in male črke.
  4. Po želji nastavi Crawl-delay v sekundah (neobvezno) za pajke, ki ga podpirajo, in z Dodaj skupino user-agentov dodaj več skupin.
  5. Navedi URL-ji zemljevidov strani (po eden v vrstici), po en absolutni URL v vrstico.
  6. Preglej Preverjanja, nato datoteko Prenesi (že se imenuje robots.txt) ali Kopiraj in jo naloži v koren svojega spletnega mesta, na primer https://example.com/robots.txt.

Kako deluje robots.txt

Datoteka robots.txt pajkom pove, katere dele spletnega mesta smejo prenašati. Sledi protokolu za izključevanje robotov (Robots Exclusion Protocol), ki je bil leta 2022 standardiziran kot RFC 9309. Datoteka velja samo za natančen gostitelj in protokol, kjer se servira: https://shop.example.com/robots.txt ne pokriva https://example.com.

Vsaka skupina se začne z eno ali več vrsticami User-agent, ki jim sledijo pravila. Pajek uporabi skupino, katere user-agent se z njegovim imenom ujema najnatančneje, druge pa prezre; če se nič ne ujema, uporabi skupino *. Znotraj skupine Google uporabi pravilo z najdaljšo ujemajočo se potjo, pri enako dolgih pravilih Allow in Disallow pa zmaga Allow. Zato deluje Disallow: /wp-admin/ v kombinaciji z Allow: /wp-admin/admin-ajax.php.

Večji iskalniki podpirajo dva nadomestna znaka: * ustreza poljubnemu zaporedju znakov, $ na koncu poti pa pomeni »URL se konča tukaj«. Na primer Disallow: /*.pdf$ blokira vsak URL, ki se konča s .pdf. Prazen Disallow: pomeni, da ni blokirano nič, in tako to orodje zapiše skupino brez pravil.

Izvedena preverjanja

  • Skupina brez user-agenta, ki bi jo pajki prezrli.
  • Poti, ki se ne začnejo z /, vsebujejo presledke ali znake s strešicami (te morajo biti odstotkovno kodirane) ali uporabljajo $ na sredini.
  • Ista pot hkrati dovoljena in prepovedana v eni skupini.
  • User-agent, ki se pojavi v več skupinah: Google jih združi, drugi pajki pa morda preberejo samo prvo.
  • Relativni ali neveljavni URL-ji zemljevidov strani in datoteka, večja od 500 KiB, kar je meja, po kateri Google preneha brati.
  • Crawl-delay, namenjen Googlu, ki ga prezre. Bing in nekateri drugi pajki ga upoštevajo; pri Googlu se hitrost preiskovanja samodejno prilagaja hitrosti odziva tvojega strežnika.

O pajkih umetne inteligence

Predloga Blokiraj pajke UI običajne iskalnike pusti dovoljene in doda skupino, ki celotno spletno mesto prepove za GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider in meta-externalagent. Google-Extended in Applebot-Extended nista ločena pajka: sta žetona, ki Googlu in Applu povesta, naj tvoje vsebine ne uporabljata za učenje ali podlago svojih modelov UI, ne da bi to vplivalo na običajno indeksiranje v iskalniku. Novi pajki UI se pojavljajo redno, zato seznam občasno preglej.

Pogosta vprašanja

Ali Disallow odstrani stran iz Googla?

Ne. Disallow ustavi preiskovanje, ne indeksiranja. Blokiran URL se lahko še vedno pojavi v rezultatih, brez opisa, če nanj kažejo druga spletna mesta. Če želiš stran obdržati zunaj iskalnih rezultatov, dovoli njeno preiskovanje in dodaj oznako meta robots noindex.

Je robots.txt varnostni ukrep?

Ne. Je javna datoteka, ki ji vljudni pajki sledijo prostovoljno. Vsakdo jo lahko prebere, zlonamerni roboti pa jo prezrejo. Zasebna območja zaščiti s prijavo, ne z robots.txt.

Kam je treba postaviti datoteko?

V koren gostitelja, z natančnim imenom robots.txt z malimi črkami: https://example.com/robots.txt. Datoteka v podmapi se prezre.

Zakaj Google prezre Crawl-delay?

Google hitrost preiskovanja prilagaja samodejno glede na to, kako hitro in zanesljivo se odziva tvoj strežnik. Če Googlebot preobremeni tvoj strežnik, ga začasno upočasni vračanje statusnih kod 503 ali 429.

Kako dolgo traja, da se spremembe uveljavijo?

Google robots.txt običajno hrani v predpomnilniku do 24 ur, zato lahko traja dan, da se sprememba upošteva. Prenesene različice lahko preveriš v poročilu robots.txt v Search Console.

Sorodna orodja