مولّد ملف robots.txt

كيفية استخدام مولّد robots.txt

1. في ابدأ من، اختر إعدادًا جاهزًا: السماح بكل شيء أو حظر كل شيء أو حظر زواحف الذكاء الاصطناعي أو WordPress. ويمكنك بعدها تعديل كل سطر.
2. في كل مجموعة، اكتب وكلاء المستخدم الذين تنطبق عليهم القواعد، واحدًا في كل سطر. وتعني * كل زاحف ليست له مجموعة خاصة به.
3. أضف قواعد Allow (سماح) وDisallow (منع) عبر إضافة قاعدة. تبدأ المسارات بـ / وهي حساسة لحالة الأحرف.
4. يمكنك ضبط Crawl-delay للزواحف التي تدعمه، وإضافة مجموعات أخرى عبر إضافة مجموعة وكيل مستخدم.
5. اكتب روابط خرائط الموقع، رابطًا مطلقًا في كل سطر.
6. راجع الفحوص، ثم نزّل الملف (اسمه robots.txt جاهزًا) أو انسخه، وارفعه إلى جذر موقعك، مثل https://example.com/robots.txt.

كيف يعمل ملف robots.txt؟

يخبر ملف robots.txt الزواحف بالأجزاء التي يحق لها جلبها من الموقع. وهو يتبع بروتوكول استبعاد الروبوتات، الذي صار معيارًا باسم RFC 9309 عام 2022. ولا ينطبق الملف إلا على المضيف والبروتوكول اللذين يُقدَّم منهما تحديدًا: فملف https://shop.example.com/robots.txt لا يشمل https://example.com.

تبدأ كل مجموعة بسطر User-agent واحد أو أكثر تليه القواعد. ويستخدم الزاحف المجموعة التي يطابق وكيلها اسمَه بأكبر قدر من التحديد، ويتجاهل غيرها؛ وإن لم يطابقه شيء، يرجع إلى مجموعة *. وداخل المجموعة، تطبّق Google القاعدة ذات أطول مسار مطابق، وحين تتساوى قاعدتا Allow وDisallow في الطول، تفوز Allow. ولهذا يعمل الجمع بين Disallow: /wp-admin/ وAllow: /wp-admin/admin-ajax.php.

تدعم محركات البحث الكبرى حرفي بدل: * يطابق أي تسلسل من الأحرف، و$ في آخر المسار تعني «هنا ينتهي الرابط». فمثلًا يحظر Disallow: /*.pdf$ كل رابط ينتهي بـ .pdf. أما Disallow: الفارغة فتعني عدم حظر أي شيء، وهكذا تكتب الأداة مجموعة بلا قواعد.

المسارات العربية

إذا كانت روابط موقعك تحتوي على كلمات عربية، فيجب كتابتها في robots.txt بالترميز المئوي، كما يرسلها المتصفح فعليًا. فالمسار /مدونة/ يُكتب /%D9%85%D8%AF%D9%88%D9%86%D8%A9/. وتنبّهك الأداة حين تكتب مسارًا يحتوي على أحرف من خارج ASCII أو مسافات، لتنسخ الصيغة المرمّزة من شريط العنوان أو من أداة ترميز الروابط.

الفحوص التي تُجرى

• مجموعة بلا وكيل مستخدم، ستتجاهلها الزواحف.
• مسارات لا تبدأ بـ /، أو تحتوي مسافات أو أحرفًا عربية أو مشكولة (يجب ترميزها)، أو تستخدم $ في وسطها.
• المسار نفسه مسموح وممنوع في مجموعة واحدة.
• وكيل مستخدم يظهر في عدة مجموعات: تدمجها Google، لكن زواحف أخرى قد لا تقرأ إلا الأولى.
• روابط خرائط موقع نسبية أو غير صالحة، وملف يتجاوز 500 KiB، وهو الحد الذي تتوقف Google بعده عن القراءة.
• توجيه Crawl-delay موجّه إلى Google، التي تتجاهله. أما Bing وبعض الزواحف الأخرى فتلتزم به؛ وبالنسبة إلى Google، يتكيّف معدل الزحف تلقائيًا مع سرعة استجابة خادمك.

عن زواحف الذكاء الاصطناعي

يُبقي إعداد حظر زواحف الذكاء الاصطناعي محركات البحث العادية مسموحًا لها، ويضيف مجموعة تمنع الموقع كله عن GPTBot (OpenAI) وClaudeBot (Anthropic) وCCBot (Common Crawl) وGoogle-Extended وApplebot-Extended وPerplexityBot وBytespider وmeta-externalagent. وليس Google-Extended وApplebot-Extended زاحفين مستقلين: بل رمزان يطلبان من Google وApple عدم استخدام محتواك في تدريب نماذج الذكاء الاصطناعي أو تغذيتها، دون التأثير في الفهرسة العادية للبحث. تظهر زواحف ذكاء اصطناعي جديدة باستمرار، لذا راجع القائمة من حين لآخر.