Генератор на robots.txt

Како да го користите генераторот на robots.txt

1. Под Започнете од изберете шаблон: Дозволи сè, Блокирај сè, Блокирај AI роботи или WordPress. Потоа можете да го промените секој ред.
2. Во секоја група наведете ги User agents на кои се однесуваат правилата, по еден во ред. * значи секој робот што нема своја група.
3. Додајте правила Allow и Disallow со Додај правило. Патеките започнуваат со / и разликуваат големи и мали букви.
4. По желба поставете Crawl-delay за роботите што го поддржуваат и додајте повеќе групи со Додај група user-agent.
5. Наведете ги вашите URL-адреси на sitemap, по една апсолутна адреса во ред.
6. Прегледајте ги Проверките, па Преземи ја датотеката (веќе е именувана robots.txt) или Копирај ја и качете ја во коренот на вашиот сајт, на пример https://example.com/robots.txt.

Како работи robots.txt

Датотеката robots.txt им кажува на роботите кои делови од сајтот смеат да ги преземаат. Го следи Robots Exclusion Protocol, стандардизиран како RFC 9309 во 2022 година. Датотеката важи само за точниот домаќин и протокол каде што се сервира: https://shop.example.com/robots.txt не го опфаќа https://example.com.

Секоја група започнува со една или повеќе линии User-agent, проследени со правила. Роботот ја користи групата чиј user agent најспецифично одговара на неговото име и ги игнорира другите; ако ништо не одговара, се враќа на групата *. Во групата Google го применува правилото со најдолга совпаѓачка патека, а кога Allow и Disallow се еднакво долги, победува Allow. Затоа работи Disallow: /wp-admin/ во комбинација со Allow: /wp-admin/admin-ajax.php.

Големите пребарувачи поддржуваат два џокера: * совпаѓа со секоја низа знаци, а $ на крајот од патеката значи „URL-то завршува тука“. На пример, Disallow: /*.pdf$ го блокира секој URL што завршува на .pdf. Празно Disallow: значи дека ништо не е блокирано, на тој начин оваа алатка запишува група без правила.

Извршени проверки

• Група без user agent, што роботите би ја игнорирале.
• Патеки што не започнуваат со /, содржат празни места или знаци со акценти (тие мора да бидат процентно кодирани) или користат $ во средина.
• Иста патека и дозволена и забранета во една група.
• User agent што се јавува во повеќе групи: Google ги спојува, но другите роботи може да ја читаат само првата.
• Релативни или неважечки URL-адреси на sitemap и датотека поголема од 500 KiB, границата по која Google престанува да чита.
• Crawl-delay наменет за Google, кој го игнорира. Bing и некои други роботи го почитуваат; кај Google брзината на преземање се прилагодува автоматски според тоа колку брзо одговара вашиот сервер.

За AI роботите

Шаблонот Блокирај AI роботи ги остава дозволени обичните пребарувачи и додава група што го забранува целиот сајт за GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider и meta-externalagent. Google-Extended и Applebot-Extended не се посебни роботи: тоа се ознаки што им кажуваат на Google и Apple да не ја користат вашата содржина за обука или заземјување на нивните AI модели, без да влијаат на обичното индексирање. Нови AI роботи се појавуваат редовно, па прегледувајте го списокот од време на време.

Сè се одвива во вашиот прелистувач: ништо од внесеното не се испраќа на сервер.