Генератор на robots.txt

Как се използва генераторът на robots.txt

1. В Започнете от изберете шаблон: Разреши всичко, Блокирай всичко, Блокирай AI роботи или WordPress. След това можете да промените всеки ред.
2. Във всяка група изброите User agent, към които се отнасят правилата, по един на ред. * означава всеки робот, който няма собствена група.
3. Добавяйте правила Allow и Disallow с Добави правило. Пътищата започват с / и различават главни и малки букви.
4. По желание задайте Crawl-delay в секунди (по избор) за роботи, които го поддържат, и добавяйте още групи с Добави група user-agent.
5. Изброите URL адреси на sitemap, по един абсолютен URL на ред.
6. Прегледайте Проверки, после Изтегли файла (вече е наименуван robots.txt) или го Копирай и го качете в основата на сайта си, например https://example.com/robots.txt.

Всичко работи във вашия браузър. Нищо от въведеното не се изпраща към сървър.

Как работи robots.txt

Файлът robots.txt казва на роботите кои части от сайта могат да извличат. Той следва Robots Exclusion Protocol, стандартизиран като RFC 9309 през 2022 г. Файлът важи само за точния хост и протокол, на който се сервира: https://shop.example.com/robots.txt не покрива https://example.com.

Всяка група започва с един или повече реда User-agent, следвани от правила. Роботът използва групата, чийто user agent съвпада най-точно с неговото име, и игнорира останалите; ако нищо не съвпада, се връща към групата *. В рамките на групата Google прилага правилото с най-дългия съвпадащ път, а когато правило Allow и правило Disallow са еднакво дълги, печели Allow. Затова Disallow: /wp-admin/ в комбинация с Allow: /wp-admin/admin-ajax.php работи.

Основните търсачки поддържат два заместващи знака: * съвпада с всяка последователност от символи, а $ в края на път означава „URL адресът свършва тук“. Например Disallow: /*.pdf$ блокира всеки URL, завършващ на .pdf. Празно Disallow: означава, че нищо не е блокирано, така този инструмент записва група без правила.

Извършвани проверки

• Група без user agent, която роботите биха игнорирали.
• Пътища, които не започват с /, съдържат интервали или не-ASCII символи (те трябва да са кодирани с процент) или използват $ по средата.
• Един и същ път, едновременно разрешен и забранен в една група.
• User agent, който се среща в няколко групи: Google ги обединява, но други роботи може да четат само първата.
• Относителни или невалидни URL адреси на sitemap и файл, по-голям от 500 KiB, границата, след която Google спира да чете.
• Crawl-delay, насочен към Google, който го игнорира. Bing и някои други роботи го спазват; при Google скоростта на обхождане се нагласява автоматично според това колко бързо отговаря сървърът ви.

За AI роботите

Шаблонът Блокирай AI роботи оставя нормалните търсачки разрешени и добавя група, която забранява целия сайт за GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider и meta-externalagent. Google-Extended и Applebot-Extended не са отделни роботи: те са токени, които казват на Google и Apple да не използват съдържанието ви за обучение или основаване на техните AI модели, без да засягат нормалното индексиране в търсенето. Нови AI роботи се появяват редовно, затова преглеждайте списъка от време на време.