Generátor robots.txt

Ako používať generátor robots.txt

1. V časti Začni od vyber predvoľbu: Povoliť všetko, Blokovať všetko, Blokovať AI crawlery alebo WordPress. Potom môžeš zmeniť každý riadok.
2. V každej skupine uveď User agenty (jeden na riadok, * = všetky prehľadávače), na ktoré sa pravidlá vzťahujú. * znamená každý prehľadávač, ktorý nemá vlastnú skupinu.
3. Pravidlá Allow a Disallow pridáš cez Pridať pravidlo. Cesty začínajú / a rozlišujú veľkosť písmen.
4. Voliteľne nastav Crawl-delay v sekundách (voliteľné) pre prehľadávače, ktoré ho podporujú, a ďalšie skupiny pridaj cez Pridať skupinu user agentov.
5. Uveď URL sitemap (jedna na riadok), jednu absolútnu URL na riadok.
6. Prejdi Kontroly, potom súbor Stiahni (už sa volá robots.txt) alebo Kopíruj a nahraj ho do koreňa webu, napríklad https://example.com/robots.txt.

Všetko beží vo tvojom prehliadači. Nič, čo zadáš, sa neodosiela na server.

Ako funguje robots.txt

Súbor robots.txt hovorí prehľadávačom, ktoré časti webu smú načítať. Riadi sa protokolom Robots Exclusion Protocol, štandardizovaným ako RFC 9309 v roku 2022. Súbor platí len pre presného hostiteľa a protokol, na ktorom sa poskytuje: https://obchod.example.com/robots.txt nepokrýva https://example.com.

Každá skupina začína jedným alebo viacerými riadkami User-agent nasledovanými pravidlami. Prehľadávač použije skupinu, ktorej user agent zodpovedá jeho názvu najpresnejšie, a ostatné ignoruje; ak nezodpovedá nič, použije skupinu *. V rámci skupiny Google použije pravidlo s najdlhšou zodpovedajúcou cestou a keď majú pravidlá Allow a Disallow rovnakú dĺžku, vyhrá Allow. Preto funguje Disallow: /wp-admin/ v kombinácii s Allow: /wp-admin/admin-ajax.php.

Hlavné vyhľadávače podporujú dva zástupné znaky: * zodpovedá ľubovoľnej postupnosti znakov a $ na konci cesty znamená „URL tu končí“. Napríklad Disallow: /*.pdf$ zablokuje každú URL končiacu .pdf. Prázdne Disallow: znamená, že sa nič neblokuje, čo je spôsob, akým nástroj zapíše skupinu bez pravidiel.

Vykonávané kontroly

• Skupina bez user agenta, ktorú by prehľadávače ignorovali.
• Cesty, ktoré nezačínajú /, obsahujú medzery alebo znaky s diakritikou (tie musia byť zakódované v percentách) alebo používajú $ uprostred.
• Tá istá cesta povolená aj zakázaná v jednej skupine.
• User agent, ktorý sa vyskytuje vo viacerých skupinách: Google ich zlúči, ale iné prehľadávače môžu čítať len prvú.
• Relatívne alebo neplatné URL sitemap a súbor väčší ako 500 KiB, po ktorých Google prestane čítať.
• Crawl-delay určený pre Google, ktorý ho ignoruje. Bing a niektoré ďalšie prehľadávače ho rešpektujú; pri Googli sa rýchlosť prehľadávania prispôsobuje automaticky podľa toho, ako rýchlo tvoj server odpovedá.

O AI prehľadávačoch

Predvoľba Blokovať AI crawlery ponecháva bežné vyhľadávače povolené a pridáva skupinu, ktorá zakazuje celý web pre GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider a meta-externalagent. Google-Extended a Applebot-Extended nie sú samostatné prehľadávače: sú to tokeny, ktoré Googlu a Applu hovoria, aby tvoj obsah nepoužívali na trénovanie ani podloženie svojich AI modelov, bez vplyvu na bežné indexovanie vo vyhľadávaní. Nové AI prehľadávače sa objavujú pravidelne, preto zoznam z času na čas skontroluj.