Robots.txt ģenerators

Kā lietot robots.txt ģeneratoru

1. Sadaļā Sākt no izvēlieties sagatavi: Atļaut visu, Bloķēt visu, Bloķēt MI robotus vai WordPress. Pēc tam varat mainīt katru rindu.
2. Katrā grupā uzskaitiet User-agent (viens rindā, * = visi roboti), uz kuriem attiecas noteikumi. * nozīmē katru robotu, kam nav savas grupas.
3. Ar Pievienot noteikumu pievienojiet Allow un Disallow noteikumus. Ceļi sākas ar /, un tajos tiek ņemts vērā burtu reģistrs.
4. Ja vēlaties, iestatiet Crawl-delay sekundēs (neobligāts) robotiem, kas to atbalsta, un ar Pievienot user-agent grupu pievienojiet vairāk grupu.
5. Norādiet savus Vietnes kartes URL (viens rindā), katrā rindā viens absolūts URL.
6. Pārskatiet Pārbaudes, tad lejupielādējiet failu (Lejupielādēt; tas jau saucas robots.txt) vai nokopējiet (Kopēt) un augšupielādējiet to vietnes saknē, piemēram, https://example.com/robots.txt.

Rīks darbojas jūsu pārlūkprogrammā, un nekas, ko ievadāt, netiek sūtīts uz serveri.

Kā darbojas robots.txt

robots.txt fails norāda pārmeklētājiem, kuras vietnes daļas tie drīkst ielādēt. Tas seko Robots Exclusion Protocol, kas 2022. gadā standartizēts kā RFC 9309. Fails attiecas tikai uz to resursdatoru un protokolu, kur tas tiek sniegts: https://shop.example.com/robots.txt neaptver https://example.com.

Katra grupa sākas ar vienu vai vairākām User-agent rindām, kam seko noteikumi. Pārmeklētājs izmanto grupu, kuras user-agent vispiemērotāk atbilst tā nosaukumam, un citas ignorē; ja nekas neatbilst, tiek izmantota * grupa. Grupā Google piemēro noteikumu ar garāko atbilstošo ceļu, un, ja Allow un Disallow noteikumi ir vienādi gari, uzvar Allow. Tāpēc darbojas Disallow: /wp-admin/ kopā ar Allow: /wp-admin/admin-ajax.php.

Lielākās meklētājprogrammas atbalsta divas aizstājējzīmes: * atbilst jebkurai rakstzīmju virknei, bet $ ceļa beigās nozīmē „URL beidzas šeit“. Piemēram, Disallow: /*.pdf$ bloķē katru URL, kas beidzas ar .pdf. Tukšs Disallow: nozīmē, ka nekas netiek bloķēts, un tieši tā šis rīks raksta grupu bez noteikumiem.

Veiktās pārbaudes

• Grupa bez user-agent, ko roboti ignorētu.
• Ceļi, kas nesākas ar /, satur atstarpes vai burtus ar diakritiskajām zīmēm (tie jākodē ar procentiem) vai izmanto $ vidū.
• Viens un tas pats ceļš grupā gan atļauts, gan aizliegts.
• User-agent, kas parādās vairākās grupās: Google tās apvieno, taču citi roboti var nolasīt tikai pirmo.
• Relatīvi vai nederīgi vietnes karšu URL un fails, kas lielāks par 500 KiB, kas ir robeža, pēc kuras Google pārtrauc lasīt.
• Crawl-delay, kas paredzēts Google, kurš to ignorē. Bing un daži citi roboti to ņem vērā; Google pārmeklēšanas ātrums pielāgojas automātiski atkarībā no jūsu servera atsaucības.

Par MI robotiem

Sagatave Bloķēt MI robotus atstāj atļautas parastās meklētājprogrammas un pievieno grupu, kas aizliedz visu vietni robotiem GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider un meta-externalagent. Google-Extended un Applebot-Extended nav atsevišķi roboti: tie ir tokeni, kas norāda Google un Apple neizmantot jūsu saturu savu MI modeļu apmācībai vai pamatošanai, neietekmējot parasto meklēšanas indeksēšanu. Jauni MI roboti parādās regulāri, tāpēc laiku pa laikam pārskatiet sarakstu.