Utilia
Kategorije ▾
Jezik: sr ▾

Robots.txt generator

Napravi ispravan robots.txt fajl sa grupama user agenata, Allow i Disallow pravilima, sitemapovima i crawl-delay, uz proveru čestih grešaka.

Kreni od

Provere

Kako da koristiš robots.txt generator

  1. Pod Kreni od izaberi šablon: Dozvoli sve, Blokiraj sve, Blokiraj AI crawlere ili WordPress. Zatim možeš da menjaš svaki red.
  2. U svakoj grupi navedi User agenti (jedan po redu, * = svi crawleri) na koje se pravila odnose. * znači svaki crawler koji nema sopstvenu grupu.
  3. Dodaj Allow i Disallow pravila pomoću Dodaj pravilo. Putanje počinju sa / i razlikuju velika i mala slova.
  4. Po želji podesi Crawl-delay u sekundama (opciono) za crawlere koji ga podržavaju, a dodatne grupe dodaj pomoću Dodaj grupu user agenata.
  5. Navedi svoje Sitemap URL-ovi (jedan po redu), po jedan apsolutni URL u svakom redu.
  6. Pregledaj Provere, pa Preuzmi fajl (već se zove robots.txt) ili ga Kopiraj i otpremi u koren svog sajta, na primer https://example.com/robots.txt.

Alat radi u tvom pregledaču. Ništa što upišeš ne šalje se na server.

Kako radi robots.txt

Fajl robots.txt govori crawlerima koje delove sajta smeju da preuzimaju. Prati Robots Exclusion Protocol, standardizovan kao RFC 9309 2022. godine. Fajl važi samo za tačan host i protokol na kome se služi: https://shop.example.com/robots.txt ne pokriva https://example.com.

Svaka grupa počinje jednim ili više redova User-agent, a zatim slede pravila. Crawler koristi grupu čiji se user agent najpreciznije poklapa sa njegovim imenom i ignoriše ostale; ako se ništa ne poklopi, vraća se na grupu *. Unutar grupe Google primenjuje pravilo sa najdužom putanjom koja se poklapa, a kada su Allow i Disallow podjednako dugi, pobeđuje Allow. Zato radi Disallow: /wp-admin/ zajedno sa Allow: /wp-admin/admin-ajax.php.

Veliki pretraživači podržavaju dva džokera: * poklapa bilo koji niz znakova, a $ na kraju putanje znači „URL se ovde završava“. Na primer, Disallow: /*.pdf$ blokira svaki URL koji se završava sa .pdf. Prazan Disallow: znači da ništa nije blokirano, i tako ovaj alat zapisuje grupu bez pravila.

Koje se provere vrše

  • Grupa bez user agenta, koju bi crawleri ignorisali.
  • Putanje koje ne počinju sa /, sadrže razmake ili slova sa dijakriticima (moraju biti kodirana procentima) ili koriste $ u sredini.
  • Ista putanja i dozvoljena i zabranjena u jednoj grupi.
  • User agent koji se pojavljuje u više grupa: Google ih spaja, ali drugi crawleri mogu da pročitaju samo prvu.
  • Relativni ili neispravni sitemap URL-ovi i fajl veći od 500 KiB, granica posle koje Google prestaje da čita.
  • Crawl-delay namenjen Googleu, koji ga ignoriše. Bing i neki drugi crawleri ga poštuju; kod Googlea se brzina indeksiranja automatski prilagođava brzini odgovora tvog servera.

O AI crawlerima

Šablon Blokiraj AI crawlere ostavlja obične pretraživače dozvoljenim i dodaje grupu koja zabranjuje ceo sajt za GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider i meta-externalagent. Google-Extended i Applebot-Extended nisu zasebni crawleri: to su tokeni koji govore Googleu i Appleu da ne koriste tvoj sadržaj za treniranje ili zasnivanje svojih AI modela, bez uticaja na uobičajeno indeksiranje u pretrazi. Novi AI crawleri se redovno pojavljuju, zato s vremena na vreme pregledaj spisak.

Česta pitanja

Da li Disallow uklanja stranicu sa Googlea?

Ne. Disallow zaustavlja preuzimanje stranice (crawling), a ne njeno uvrštavanje u indeks. Blokirani URL se i dalje može pojaviti u rezultatima, bez opisa, ako drugi sajtovi vode na njega. Da stranica ostane van rezultata pretrage, dozvoli da se preuzima i umesto toga dodaj noindex robots meta oznaku.

Da li je robots.txt mera bezbednosti?

Ne. To je javan fajl koji pristojni crawleri dobrovoljno poštuju. Svako može da ga pročita, a zlonamerni botovi ga ignorišu. Privatne delove zaštiti prijavom, a ne robots.txt fajlom.

Gde fajl mora da bude postavljen?

U korenu hosta, tačno pod imenom robots.txt malim slovima: https://example.com/robots.txt. Fajl u podfascikli se ignoriše.

Zašto Google ignoriše Crawl-delay?

Google automatski prilagođava brzinu preuzimanja prema tome koliko brzo i pouzdano tvoj server odgovara. Ako Googlebot preoptereti server, vraćanje statusnih kodova 503 ili 429 privremeno ga usporava.

Koliko traje primena izmena?

Google obično kešira robots.txt do 24 sata, pa izmena može da se uzme u obzir tek za dan. Preuzetu verziju možeš da proveriš u izveštaju o robots.txt u Search Console.

Srodni alati