Генератор robots.txt

Як користуватися генератором robots.txt

1. У розділі Почати з виберіть шаблон: Дозволити все, Заблокувати все, Заблокувати ШІ-краулери або WordPress. Потім можна змінити кожен рядок.
2. У кожній групі перелічіть User-agent, до яких застосовуються правила, по одному в рядку. * означає кожен краулер, що не має власної групи.
3. Додавайте правила Allow і Disallow кнопкою Додати правило. Шляхи починаються з / і чутливі до регістру.
4. За бажанням задайте Crawl-delay у секундах (необов’язково) для краулерів, які його підтримують, і додайте більше груп кнопкою Додати групу user-agent.
5. Перелічіть URL карт сайту (по одному в рядку): по одній абсолютній URL-адресі в рядку.
6. Перегляньте Перевірки, потім Завантажити файл (він уже має назву robots.txt) або Копіювати його й розмістіть у корені свого сайту, наприклад https://example.com/robots.txt.

Усе працює у вашому браузері: нічого з того, що ви вводите, не надсилається на сервер.

Як працює robots.txt

Файл robots.txt повідомляє краулерам, які частини сайту вони можуть завантажувати. Він дотримується Протоколу виключення роботів, стандартизованого як RFC 9309 у 2022 році. Файл діє лише для того хоста й протоколу, де він розміщений: https://shop.example.com/robots.txt не стосується https://example.com.

Кожна група починається з одного або кількох рядків User-agent, за якими йдуть правила. Краулер використовує групу, чий user-agent найточніше збігається з його назвою, а інші ігнорує; якщо нічого не збігається, він переходить до групи *. У межах групи Google застосовує правило з найдовшим збіжним шляхом, а коли правила Allow і Disallow однакової довжини, перемагає Allow. Тому працює поєднання Disallow: /wp-admin/ з Allow: /wp-admin/admin-ajax.php.

Два символи підстановки підтримують основні пошукові системи: * збігається з будь-якою послідовністю символів, а $ наприкінці шляху означає «URL закінчується тут». Наприклад, Disallow: /*.pdf$ блокує кожну URL-адресу, що закінчується на .pdf. Порожнє Disallow: означає, що нічого не заблоковано, – так цей інструмент записує групу без правил.

Які перевірки виконуються

• Група без user-agent, яку краулери ігнорували б.
• Шляхи, що не починаються з /, містять пробіли чи літери з діакритикою (їх слід кодувати у відсотковому форматі) або використовують $ посередині.
• Той самий шлях, одночасно дозволений і заборонений в одній групі.
• User-agent, що трапляється в кількох групах: Google їх об’єднує, але інші краулери можуть прочитати лише першу.
• Відносні або некоректні URL карт сайту й файл більший за 500 КіБ – межа, після якої Google припиняє читання.
• Crawl-delay для Google, який його ігнорує. Bing і деякі інші краулери його враховують; для Google швидкість сканування налаштовується автоматично залежно від того, як швидко відповідає ваш сервер.

Про ШІ-краулери

Шаблон Заблокувати ШІ-краулери залишає звичайним пошуковим системам доступ і додає групу, що забороняє весь сайт для GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider і meta-externalagent. Google-Extended і Applebot-Extended – не окремі краулери, а токени, що повідомляють Google і Apple не використовувати ваш вміст для навчання чи обґрунтування своїх моделей ШІ, не зачіпаючи звичайного пошукового індексування. Нові ШІ-краулери з’являються регулярно, тож час від часу переглядайте список.