Γεννήτρια robots.txt

Πώς χρησιμοποιείτε τη γεννήτρια robots.txt

1. Στο Ξεκινήστε από, επιλέξτε μια προρύθμιση: Να επιτρέπονται όλα, Αποκλεισμός όλων, Αποκλεισμός crawlers AI ή WordPress. Μετά μπορείτε να αλλάξετε κάθε γραμμή.
2. Σε κάθε ομάδα, απαριθμήστε τα User agents (ένα ανά γραμμή, * = όλοι οι crawlers) στα οποία ισχύουν οι κανόνες, ένα ανά γραμμή. Το * σημαίνει κάθε crawler που δεν έχει δική του ομάδα.
3. Προσθέστε κανόνες Allow και Disallow με το Προσθήκη κανόνα. Οι διαδρομές ξεκινούν με / και ξεχωρίζουν πεζά από κεφαλαία.
4. Προαιρετικά ορίστε Crawl-delay σε δευτερόλεπτα (προαιρετικό) για crawlers που το υποστηρίζουν και προσθέστε περισσότερες ομάδες με το Προσθήκη ομάδας user-agent.
5. Απαριθμήστε τα URL sitemap (ένα ανά γραμμή), ένα απόλυτο URL ανά γραμμή.
6. Δείτε τους Έλεγχοι και μετά πατήστε Λήψη για το αρχείο (έχει ήδη το όνομα robots.txt) ή Αντιγραφή, και ανεβάστε το στη ρίζα του ιστότοπού σας, για παράδειγμα https://example.com/robots.txt.

Πώς λειτουργεί το robots.txt

Ένα αρχείο robots.txt λέει στους crawlers ποια τμήματα ενός ιστότοπου επιτρέπεται να φορτώνουν. Ακολουθεί το Robots Exclusion Protocol, που τυποποιήθηκε ως RFC 9309 το 2022. Το αρχείο ισχύει μόνο για τον ακριβή διακομιστή και πρωτόκολλο όπου σερβίρεται: το https://shop.example.com/robots.txt δεν καλύπτει το https://example.com.

Κάθε ομάδα ξεκινά με μία ή περισσότερες γραμμές User-agent και ακολουθούν οι κανόνες. Ο crawler χρησιμοποιεί την ομάδα της οποίας το user agent ταιριάζει πιο συγκεκριμένα με το όνομά του και αγνοεί τις άλλες· αν δεν ταιριάζει καμία, καταφεύγει στην ομάδα *. Μέσα στην ομάδα, η Google εφαρμόζει τον κανόνα με τη μακρύτερη διαδρομή που ταιριάζει, και όταν ένας κανόνας Allow και ένας Disallow έχουν ίδιο μήκος, κερδίζει το Allow. Γι’ αυτό λειτουργεί ο συνδυασμός Disallow: /wp-admin/ με Allow: /wp-admin/admin-ajax.php.

Οι μεγάλες μηχανές αναζήτησης υποστηρίζουν δύο μπαλαντέρ: το * ταιριάζει με οποιαδήποτε ακολουθία χαρακτήρων και το $ στο τέλος μιας διαδρομής σημαίνει «το URL τελειώνει εδώ». Για παράδειγμα, το Disallow: /*.pdf$ αποκλείει κάθε URL που τελειώνει σε .pdf. Ένα κενό Disallow: σημαίνει ότι δεν αποκλείεται τίποτα, και έτσι γράφει το εργαλείο μια ομάδα χωρίς κανόνες.

Αν οι διαδρομές σας περιέχουν ελληνικούς χαρακτήρες ή κενά, γράψτε τες με κωδικοποίηση ποσοστού (π.χ. /%CE%BA%CE%B1%CF%84%CE%B7%CE%B3%CE%BF%CF%81%CE%AF%CE%B1/): ο έλεγχος σας το υπενθυμίζει.

Έλεγχοι που γίνονται

• Ομάδα χωρίς user agent, που οι crawlers θα αγνοούσαν.
• Διαδρομές που δεν ξεκινούν με /, περιέχουν κενά ή χαρακτήρες εκτός ASCII (πρέπει να κωδικοποιούνται) ή χρησιμοποιούν το $ στη μέση.
• Η ίδια διαδρομή που επιτρέπεται και αποκλείεται στην ίδια ομάδα.
• User agent που εμφανίζεται σε πολλές ομάδες: η Google τις συγχωνεύει, αλλά άλλοι crawlers μπορεί να διαβάζουν μόνο την πρώτη.
• Σχετικά ή άκυρα URL sitemap, και αρχείο μεγαλύτερο από 500 KiB, το όριο μετά το οποίο η Google σταματά να διαβάζει.
• Crawl-delay που απευθύνεται στη Google, η οποία το αγνοεί. Το Bing και ορισμένοι άλλοι crawlers το σέβονται· για τη Google, ο ρυθμός σάρωσης προσαρμόζεται αυτόματα στην ταχύτητα απόκρισης του διακομιστή σας.

Σχετικά με τους crawlers AI

Η προρύθμιση Αποκλεισμός crawlers AI κρατά επιτρεπτές τις κανονικές μηχανές αναζήτησης και προσθέτει ομάδα που αποκλείει ολόκληρο τον ιστότοπο για τους GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider και meta-externalagent. Τα Google-Extended και Applebot-Extended δεν είναι ξεχωριστοί crawlers: είναι διακριτικά που λένε στη Google και στην Apple να μη χρησιμοποιούν το περιεχόμενό σας για την εκπαίδευση ή την τεκμηρίωση των μοντέλων AI τους, χωρίς να επηρεάζουν την κανονική ευρετηρίαση αναζήτησης. Νέοι crawlers AI εμφανίζονται τακτικά, γι’ αυτό ελέγχετε τη λίστα κατά διαστήματα.