Generátor robots.txt

Jak používat generátor robots.txt

1. V části Začít z vyber předvolbu: Povolit vše, Blokovat vše, Blokovat roboty AI nebo WordPress. Poté můžeš změnit každý řádek.
2. V každé skupině vypiš User-agenty (jeden na řádek, * = všichni roboti), na které se pravidla vztahují. * znamená každého robota, který nemá vlastní skupinu.
3. Pomocí Přidat pravidlo přidávej pravidla Allow a Disallow. Cesty začínají / a rozlišují velikost písmen.
4. Volitelně nastav Crawl-delay v sekundách (volitelné) pro roboty, kteří ho podporují, a další skupiny přidej tlačítkem Přidat skupinu user-agentů.
5. Vypiš URL map webu (jedna na řádek), jednu absolutní URL na řádek.
6. Projdi Kontroly, pak soubor Stáhnout (už se jmenuje robots.txt) nebo Kopírovat a nahraj ho do kořene svého webu, například https://example.com/robots.txt.

Všechno probíhá ve tvém prohlížeči a nic, co zadáš, se neodesílá na server.

Jak robots.txt funguje

Soubor robots.txt říká robotům, které části webu smějí stahovat. Řídí se protokolem Robots Exclusion Protocol, standardizovaným jako RFC 9309 v roce 2022. Soubor platí jen pro přesného hostitele a protokol, na kterém je poskytován: https://obchod.example.com/robots.txt nepokrývá https://example.com.

Každá skupina začíná jedním nebo více řádky User-agent následovanými pravidly. Robot použije skupinu, jejíž user-agent odpovídá jeho jménu nejpřesněji, a ostatní ignoruje; pokud nic neodpovídá, použije skupinu *. Uvnitř skupiny Google použije pravidlo s nejdelší odpovídající cestou a pokud jsou pravidla Allow a Disallow stejně dlouhá, vyhrává Allow. Proto funguje Disallow: /wp-admin/ v kombinaci s Allow: /wp-admin/admin-ajax.php.

Hlavní vyhledávače podporují dva zástupné znaky: * odpovídá libovolné posloupnosti znaků a $ na konci cesty znamená „URL tady končí“. Například Disallow: /*.pdf$ zablokuje každou URL končící na .pdf. Prázdné Disallow: znamená, že se nic neblokuje, a tak nástroj zapisuje skupinu bez pravidel.

Prováděné kontroly

• Skupina bez user-agenta, kterou by roboti ignorovali.
• Cesty, které nezačínají /, obsahují mezery nebo znaky s diakritikou (ty musí být zakódované v procentech) nebo používají $ uprostřed.
• Stejná cesta povolená i zakázaná v jedné skupině.
• User-agent vyskytující se ve více skupinách: Google je sloučí, ale jiní roboti mohou číst jen první.
• Relativní nebo neplatné URL map webu a soubor větší než 500 KiB, což je limit, po jehož překročení Google přestane číst.
• Crawl-delay určený pro Google, který ho ignoruje. Bing a někteří další roboti ho respektují; u Googlu se rychlost procházení upravuje automaticky podle toho, jak rychle server odpovídá.

O robotech AI

Předvolba Blokovat roboty AI ponechá běžné vyhledávače povolené a přidá skupinu, která celý web zakáže pro GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider a meta-externalagent. Google-Extended a Applebot-Extended nejsou samostatní roboti: jsou to tokeny, které Googlu a Applu říkají, aby tvůj obsah nepoužívaly k trénování nebo podkládání svých modelů AI, aniž by to ovlivnilo běžné indexování ve vyhledávání. Noví roboti AI se objevují pravidelně, takže seznam čas od času zkontroluj.