Generator ng Robots.txt

Paano gamitin ang robots.txt generator

1. Sa ilalim ng Magsimula sa, pumili ng preset: Payagan ang lahat, Harangin ang lahat, Harangin ang AI crawler o WordPress. Maaari mong baguhin ang bawat linya pagkatapos.
2. Sa bawat group, ilista ang Mga user agent na sakop ng mga panuntunan, isa kada linya. Ang * ay nangangahulugang bawat crawler na walang sariling group.
3. Magdagdag ng Payagan at Harangin na panuntunan gamit ang Magdagdag ng panuntunan. Nagsisimula ang path sa / at case-sensitive ito.
4. Opsyonal na itakda ang Crawl-delay para sa crawler na sumusuporta nito, at magdagdag ng mas maraming group gamit ang Magdagdag ng user-agent group.
5. Ilista ang Mga URL ng sitemap mo, isang absolute URL kada linya.
6. Suriin ang Mga pagsusuri, tapos I-download ang file (pinangalanan na itong robots.txt) o Kopyahin ito, at i-upload sa root ng site mo, halimbawa https://example.com/robots.txt.

Paano gumagana ang robots.txt

Sinasabi ng robots.txt file sa crawler kung aling bahagi ng site ang maaari nilang kunin. Sinusunod nito ang Robots Exclusion Protocol, na na-standardize bilang RFC 9309 noong 2022. Nalalapat lamang ang file sa eksaktong host at protocol kung saan ito inihahain: ang https://shop.example.com/robots.txt ay hindi sumasakop sa https://example.com.

Nagsisimula ang bawat group sa isa o higit pang User-agent na linya na sinusundan ng mga panuntunan. Ginagamit ng crawler ang group na pinakatugma ng pangalan nito, at binabalewala ang iba; kung walang tumutugma, bumabalik ito sa * group. Sa loob ng group, inilalapat ng Google ang panuntunang may pinakamahabang tumutugmang path, at kapag pantay ang haba ng Allow at Disallow na panuntunan, nananalo ang Allow. Kaya gumagana ang Disallow: /wp-admin/ kasama ang Allow: /wp-admin/admin-ajax.php.

Dalawang wildcard ang sinusuportahan ng pangunahing search engine: tinutugma ng * ang anumang sunod-sunod na character, at ang $ sa dulo ng path ay nangangahulugang “dito nagtatapos ang URL”. Halimbawa, hinaharangan ng Disallow: /*.pdf$ ang bawat URL na nagtatapos sa .pdf. Ang blangkong Disallow: ay nangangahulugang walang hinaharangan, na siyang paraan ng tool na ito sa pagsulat ng group na walang panuntunan.

Mga pagsusuring ginagawa

• Group na walang user agent, na babalewalaan ng crawler.
• Path na hindi nagsisimula sa /, may espasyo o letter na may accent (dapat percent-encoded ang mga ito) o gumagamit ng $ sa gitna.
• Ang parehong path na pinapayagan at hinaharangan sa isang group.
• User agent na lumilitaw sa ilang group: pinagsasama ito ng Google, pero maaaring ang una lamang ang basahin ng ibang crawler.
• Relative o hindi wastong URL ng sitemap, at file na lampas 500 KiB, ang limitasyon kung saan humihinto ang pagbasa ng Google.
• Crawl-delay na nakaturo sa Google, na binabalewala ito. Iginagalang ito ng Bing at ilang iba pang crawler; para sa Google, awtomatikong umaangkop ang crawl rate sa bilis ng pagtugon ng server mo.

Tungkol sa AI crawler

Pinapayagan pa rin ng preset na Harangin ang AI crawler ang mga normal na search engine, at nagdadagdag ito ng group na humaharang sa buong site para sa GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider at meta-externalagent. Ang Google-Extended at Applebot-Extended ay hindi hiwalay na crawler: mga token ang mga ito na nagsasabi sa Google at Apple na huwag gamitin ang nilalaman mo para sanayin ang kanilang AI model o gawin itong batayan ng mga sagot nito, nang hindi naaapektuhan ang normal na search indexing. Regular na lumilitaw ang bagong AI crawler, kaya suriin ang listahan paminsan-minsan.