Gjenerues i robots.txt

Si ta përdorësh gjeneruesin e robots.txt

1. Te Nis nga, zgjidh një model: Lejo gjithçka, Blloko gjithçka, Blloko crawler-at e AI ose WordPress. Pastaj mund t’i ndryshosh të gjitha rreshtat.
2. Në çdo grup, listo User agent-ët për të cilët vlejnë rregullat, një për rresht. * do të thotë çdo crawler që nuk ka grup të vetin.
3. Shto rregulla Allow dhe Disallow me Shto një rregull. Shtigjet fillojnë me / dhe dallojnë shkronjat e mëdha nga të vogla.
4. Opsionalisht cakto një Crawl-delay në sekonda (opsional) për crawler-at që e mbështesin, dhe shto grupe të tjera me Shto një grup user-agent.
5. Listo URL-të e sitemap-it (një për rresht), një URL absolute për rresht.
6. Shqyrto Kontrolle, pastaj Shkarko skedarin (quhet tashmë robots.txt) ose Kopjo atë, dhe ngarkoje në rrënjën e sajtit tënd, për shembull https://example.com/robots.txt.

Si funksionon robots.txt

Një skedar robots.txt u tregon crawler-ave cilat pjesë të një sajti mund t’i marrin. Ndjek Robots Exclusion Protocol, të standardizuar si RFC 9309 në vitin 2022. Skedari vlen vetëm për hostin dhe protokollin e saktë ku shërbehet: https://shop.example.com/robots.txt nuk mbulon https://example.com.

Çdo grup fillon me një ose më shumë rreshta User-agent të ndjekur nga rregulla. Një crawler përdor grupin user agent-i i të cilit përputhet më saktësisht me emrin e tij dhe i shpërfill të tjerët; nëse nuk përputhet asgjë, kthehet te grupi *. Brenda grupit, Google zbaton rregullin me shtegun më të gjatë që përputhet, dhe kur një rregull Allow dhe një Disallow kanë gjatësi të barabartë, fiton Allow. Prandaj funksionon Disallow: /wp-admin/ i kombinuar me Allow: /wp-admin/admin-ajax.php.

Dy shenja joker mbështeten nga motorët kryesorë të kërkimit: * përputhet me çdo varg karakteresh dhe $ në fund të një shtegu do të thotë “URL-ja mbaron këtu”. Për shembull, Disallow: /*.pdf$ bllokon çdo URL që mbaron me .pdf. Një Disallow: bosh do të thotë se nuk bllokohet asgjë, dhe kështu e shkruan ky mjet një grup pa rregulla.

Kontrollet që kryhen

• Një grup pa user agent, që crawler-at do ta shpërfillnin.
• Shtigje që nuk fillojnë me /, përmbajnë hapësira ose karaktere me shenja (këto duhet të kodohen me përqindje) ose përdorin $ në mes.
• I njëjti shteg i lejuar dhe i ndaluar në një grup.
• Një user agent që shfaqet në disa grupe: Google i bashkon, por crawler-at e tjerë mund të lexojnë vetëm të parin.
• URL sitemap-i relative ose të pavlefshme, dhe një skedar më i madh se 500 KiB, kufiri pas të cilit Google ndalon së lexuari.
• Një Crawl-delay për Google, që e shpërfill. Bing dhe disa crawler-a të tjerë e respektojnë; për Google, shpejtësia e crawl-it rregullohet automatikisht sipas shpejtësisë së përgjigjes së serverit tënd.

Rreth crawler-ave të AI

Modeli Blloko crawler-at e AI i mban të lejuar motorët normalë të kërkimit dhe shton një grup që ndalon gjithë sajtin për GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider dhe meta-externalagent. Google-Extended dhe Applebot-Extended nuk janë crawler-a të veçantë: janë tokenë që i thonë Google dhe Apple të mos e përdorin përmbajtjen tënde për të trajnuar ose mbështetur modelet e tyre të AI, pa prekur indeksimin normal të kërkimit. Crawler-a të rinj të AI shfaqen rregullisht, ndaj rishiko listën herë pas here.