Robots.txt generator

Kako koristiti robots.txt generator

1. Pod Počni od odaberi predložak: Dozvoli sve, Blokiraj sve, Blokiraj AI crawlere ili WordPress. Zatim možeš promijeniti svaki red.
2. U svakoj grupi navedi User agenti (jedan po redu, * = svi crawleri) na koje se pravila odnose, jednog po redu. * znači svaki crawler koji nema vlastitu grupu.
3. Dodaj pravila Allow i Disallow pomoću Dodaj pravilo. Putanje počinju sa / i razlikuju velika i mala slova.
4. Po želji postavi Crawl-delay u sekundama (neobavezno) za crawlere koji ga podržavaju, a dodatne grupe dodaj pomoću Dodaj grupu user agenata.
5. Navedi URL-ovi sitemapa (jedan po redu), po jedan apsolutni URL u redu.
6. Pregledaj Provjere, zatim Preuzmi datoteku (već se zove robots.txt) ili je Kopiraj i postavi u korijen svog sajta, na primjer https://example.com/robots.txt.

Alat radi u tvom pregledniku. Ništa što upišeš ne šalje se na server.

Kako radi robots.txt

Datoteka robots.txt govori crawlerima koje dijelove sajta smiju preuzimati. Slijedi Robots Exclusion Protocol, standardizovan kao RFC 9309 2022. godine. Datoteka važi samo za tačan host i protokol na kojem se poslužuje: https://shop.example.com/robots.txt ne pokriva https://example.com.

Svaka grupa počinje jednim ili više redova User-agent, nakon kojih slijede pravila. Crawler koristi grupu čiji se user agent najpreciznije podudara s njegovim imenom, a ostale zanemaruje; ako se ništa ne podudara, vraća se na grupu *. Unutar grupe Google primjenjuje pravilo s najdužom podudarnom putanjom, a kad su pravila Allow i Disallow jednako duga, pobjeđuje Allow. Zato radi Disallow: /wp-admin/ u kombinaciji s Allow: /wp-admin/admin-ajax.php.

Veliki pretraživači podržavaju dva džokera: * odgovara bilo kojem nizu znakova, a $ na kraju putanje znači „URL se ovdje završava“. Na primjer, Disallow: /*.pdf$ blokira svaki URL koji se završava na .pdf. Prazan Disallow: znači da ništa nije blokirano, što je način na koji ovaj alat piše grupu bez pravila.

Šta se provjerava

• Grupa bez user agenta, koju bi crawleri zanemarili.
• Putanje koje ne počinju sa /, sadrže razmake ili slova s dijakritikom (ona moraju biti postotno kodirana) ili koriste $ u sredini.
• Ista putanja istovremeno dozvoljena i zabranjena u jednoj grupi.
• User agent koji se pojavljuje u više grupa: Google ih spaja, ali drugi crawleri mogu pročitati samo prvu.
• Relativni ili neispravni URL-ovi sitemapa te datoteka veća od 500 KiB, što je granica poslije koje Google prestaje čitati.
• Crawl-delay namijenjen Googleu, koji ga zanemaruje. Bing i neki drugi crawleri ga poštuju; kod Googlea se brzina indeksiranja automatski prilagođava brzini odziva tvog servera.

O AI crawlerima

Predložak Blokiraj AI crawlere ostavlja uobičajene pretraživače dozvoljenim i dodaje grupu koja zabranjuje cijeli sajt za GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider i meta-externalagent. Google-Extended i Applebot-Extended nisu zasebni crawleri: to su oznake koje govore Googleu i Appleu da ne koriste tvoj sadržaj za treniranje ili utemeljenje svojih AI modela, bez uticaja na uobičajeno indeksiranje u pretrazi. Novi AI crawleri se redovno pojavljuju, pa povremeno pregledaj popis.