Robots.txt generator

Kako koristiti robots.txt generator

1. Pod Kreni od odaberi predložak: Dopusti sve, Blokiraj sve, Blokiraj AI crawlere ili WordPress. Zatim možeš promijeniti svaki redak.
2. U svakoj grupi navedi User-agenti (jedan po retku, * = svi crawleri) na koje se pravila odnose, po jednog u retku. * znači svaki crawler koji nema vlastitu grupu.
3. Dodaj pravila Allow i Disallow pomoću Dodaj pravilo. Putanje počinju s / i razlikuju velika i mala slova.
4. Po želji postavi Crawl-delay u sekundama (neobavezno) za crawlere koji ga podržavaju i dodaj više grupa pomoću Dodaj grupu user-agenta.
5. Navedi URL-ovi karte stranice (jedan po retku), po jedan apsolutni URL u retku.
6. Pregledaj Provjere, zatim Preuzmi datoteku (već se zove robots.txt) ili je Kopiraj i učitaj u korijen svoje stranice, na primjer https://example.com/robots.txt.

Alat radi u tvom pregledniku. Ništa što upišeš ne šalje se na poslužitelj.

Kako radi robots.txt

Datoteka robots.txt govori crawlerima koje dijelove stranice smiju dohvaćati. Slijedi Robots Exclusion Protocol, standardiziran kao RFC 9309 2022. godine. Datoteka vrijedi samo za točan host i protokol na kojem se poslužuje: https://shop.example.com/robots.txt ne pokriva https://example.com.

Svaka grupa počinje jednim ili više redaka User-agent, a slijede pravila. Crawler koristi grupu čiji se user-agent najpreciznije podudara s njegovim imenom, a ostale ignorira; ako se ništa ne podudara, vraća se na grupu *. Unutar grupe Google primjenjuje pravilo s najduljom podudarnom putanjom, a kad su pravila Allow i Disallow jednako duga, pobjeđuje Allow. Zato radi Disallow: /wp-admin/ zajedno s Allow: /wp-admin/admin-ajax.php.

Velike tražilice podržavaju dva džokera: * odgovara bilo kojem nizu znakova, a $ na kraju putanje znači „URL ovdje završava“. Na primjer, Disallow: /*.pdf$ blokira svaki URL koji završava s .pdf. Prazan Disallow: znači da se ništa ne blokira, što je način na koji ovaj alat zapisuje grupu bez pravila.

Što se provjerava

• Grupa bez user-agenta, koju bi crawleri ignorirali.
• Putanje koje ne počinju s /, sadrže razmake ili slova s dijakriticima (moraju biti postotno kodirana) ili koriste $ u sredini.
• Ista putanja istodobno dopuštena i zabranjena u jednoj grupi.
• User-agent koji se pojavljuje u više grupa: Google ih spaja, ali drugi crawleri možda čitaju samo prvu.
• Relativni ili nevaljani URL-ovi karte stranice te datoteka veća od 500 KiB, granica nakon koje Google prestaje čitati.
• Crawl-delay namijenjen Googleu, koji ga ignorira. Bing i neki drugi crawleri ga poštuju; za Google se brzina indeksiranja automatski prilagođava brzini odgovora tvog poslužitelja.

O AI crawlerima

Predložak Blokiraj AI crawlere ostavlja obične tražilice dopuštenima i dodaje grupu koja zabranjuje cijelu stranicu za GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider i meta-externalagent. Google-Extended i Applebot-Extended nisu zasebni crawleri: to su tokeni koji govore Googleu i Appleu da tvoj sadržaj ne koriste za treniranje ili utemeljenje svojih AI modela, bez utjecaja na uobičajeno indeksiranje u pretraživanju. Novi AI crawleri redovito se pojavljuju pa povremeno pregledaj popis.