Robots.txt framleiðandi

Hvernig á að nota robots.txt framleiðandann

1. Undir Byrja á skaltu velja forstillingu: Leyfa allt, Loka á allt, Loka á gervigreindarskriðþjarka eða WordPress. Síðan geturðu breytt hverri línu.
2. Í hverjum hópi skaltu telja upp User agents sem reglurnar gilda um, einn á línu. * merkir alla skriðþjarka sem hafa engan eigin hóp.
3. Bættu við Allow og Disallow reglum með Bæta við reglu. Slóðir byrja á / og greina á milli há- og lágstafa.
4. Stilltu eftir þörfum Crawl-delay í sekúndum (valfrjálst) fyrir skriðþjarka sem styðja það, og bættu við fleiri hópum með Bæta við user-agent hóp.
5. Skráðu Sitemap-slóðir (ein á línu), eina heila slóð á línu.
6. Farðu yfir Athuganir, og Sækja síðan skrána (hún heitir þegar robots.txt) eða Afrita hana, og hladdu henni upp í rót vefsvæðisins þíns, til dæmis https://example.com/robots.txt.

Hvernig robots.txt virkar

Robots.txt skrá segir skriðþjörkum hvaða hluta vefsvæðis þeir mega sækja. Hún fylgir Robots Exclusion Protocol, sem var staðlað sem RFC 9309 árið 2022. Skráin gildir aðeins um nákvæmlega þann hýsil og samskiptareglu sem hún er þjónuð á: https://shop.example.com/robots.txt nær ekki yfir https://example.com.

Hver hópur byrjar á einni eða fleiri User-agent línum og síðan reglum. Skriðþjarkur notar hópinn þar sem user agent passar nákvæmast við nafn hans og hunsar hina; ef ekkert passar fellur hann aftur á * hópinn. Innan hópsins beitir Google reglunni með lengstu samsvarandi slóðina, og þegar Allow og Disallow regla eru jafnlangar sigrar Allow. Þess vegna virkar Disallow: /wp-admin/ ásamt Allow: /wp-admin/admin-ajax.php.

Stóru leitarvélarnar styðja tvö algildi: * passar við hvaða runu stafa sem er og $ aftast í slóð merkir „slóðin endar hér“. Til dæmis lokar Disallow: /*.pdf$ á allar slóðir sem enda á .pdf. Tómt Disallow: merkir að ekkert sé bannað, sem er hvernig þetta verkfæri skrifar hóp án reglna.

Athuganir sem eru framkvæmdar

• Hópur án user agent, sem skriðþjarkar myndu hunsa.
• Slóðir sem byrja ekki á /, innihalda bil eða stafi með broddum (þeir verða að vera prósentukóðaðir) eða nota $ í miðri slóð.
• Sama slóð bæði leyfð og bönnuð í einum hópi.
• User agent sem kemur fyrir í fleiri en einum hópi: Google sameinar þá, en aðrir skriðþjarkar gætu aðeins lesið þann fyrsta.
• Afstæðar eða ógildar sitemap-slóðir, og skrá stærri en 500 KiB, mörkin sem Google hættir að lesa við.
• Crawl-delay ætlað Google, sem hunsar það. Bing og sumir aðrir skriðþjarkar virða það; hjá Google aðlagast skriðhraðinn sjálfkrafa að því hve hratt netþjónninn þinn svarar.

Um gervigreindarskriðþjarka

Forstillingin Loka á gervigreindarskriðþjarka heldur venjulegum leitarvélum leyfðum og bætir við hópi sem bannar allt vefsvæðið fyrir GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider og meta-externalagent. Google-Extended og Applebot-Extended eru ekki aðskildir skriðþjarkar: þetta eru tákn sem segja Google og Apple að nota ekki efni þitt til að þjálfa eða byggja gervigreindarlíkön sín, án þess að hafa áhrif á venjulega leitarskráningu. Nýir gervigreindarskriðþjarkar birtast reglulega, svo farðu yfir listann af og til.

Allt er unnið í vafranum þínum: reglurnar sem þú býrð til eru ekki sendar á netþjón.