Generator pliku robots.txt

Jak korzystać z generatora robots.txt

1. W sekcji Zacznij od wybierz szablon: Zezwól na wszystko, Zablokuj wszystko, Zablokuj roboty AI lub WordPress. Potem możesz zmienić każdą linię.
2. W każdej grupie wypisz User agenty, których dotyczą reguły – jeden na linię. * oznacza każdego robota, który nie ma własnej grupy.
3. Dodaj reguły Allow i Disallow przyciskiem Dodaj regułę. Ścieżki zaczynają się od / i rozróżniają wielkość liter.
4. Opcjonalnie ustaw Crawl-delay dla robotów, które go obsługują, i dodaj kolejne grupy przyciskiem Dodaj grupę user-agent.
5. Wpisz Adresy URL map witryny (jeden na linię) – każdy jako bezwzględny adres.
6. Przejrzyj sekcję Kontrola, a następnie Pobierz plik (ma już nazwę robots.txt) lub go Kopiuj i wgraj do katalogu głównego witryny, np. https://example.com/robots.txt.

Wszystko działa w twojej przeglądarce – nic, co wpiszesz, nie jest wysyłane na serwer.

Jak działa robots.txt

Plik robots.txt mówi robotom, które części witryny mogą pobierać. Działa według protokołu Robots Exclusion Protocol, ustandaryzowanego w 2022 roku jako RFC 9309. Plik dotyczy wyłącznie dokładnie tego hosta i protokołu, pod którym jest dostępny: https://sklep.example.com/robots.txt nie obejmuje https://example.com.

Każda grupa zaczyna się od jednej lub kilku linii User-agent, po których następują reguły. Robot korzysta z grupy, której user agent najdokładniej pasuje do jego nazwy, a pozostałe ignoruje; jeśli nic nie pasuje, używa grupy *. W obrębie grupy Google stosuje regułę z najdłuższą pasującą ścieżką, a gdy reguły Allow i Disallow są równie długie, wygrywa Allow. Dlatego połączenie Disallow: /wp-admin/ z Allow: /wp-admin/admin-ajax.php działa.

Główne wyszukiwarki obsługują dwa symbole wieloznaczne: * pasuje do dowolnego ciągu znaków, a $ na końcu ścieżki oznacza „tu kończy się adres URL”. Na przykład Disallow: /*.pdf$ blokuje każdy adres kończący się na .pdf. Puste Disallow: oznacza, że nic nie jest zablokowane – tak narzędzie zapisuje grupę bez reguł.

Co jest sprawdzane

• Grupa bez user agenta, którą roboty by zignorowały.
• Ścieżki, które nie zaczynają się od /, zawierają spacje lub polskie znaki (trzeba je zapisać w kodowaniu procentowym) albo mają $ w środku.
• Ta sama ścieżka jednocześnie dozwolona i zablokowana w jednej grupie.
• User agent występujący w kilku grupach: Google je łączy, ale inne roboty mogą czytać tylko pierwszą.
• Względne lub nieprawidłowe adresy map witryny oraz plik większy niż 500 KiB – po przekroczeniu tego limitu Google przestaje czytać.
• Crawl-delay skierowany do Google, który go ignoruje. Bing i niektóre inne roboty go respektują; w przypadku Google tempo indeksowania dostosowuje się automatycznie do szybkości odpowiedzi serwera.

Roboty AI

Szablon Zablokuj roboty AI pozostawia dostęp zwykłym wyszukiwarkom i dodaje grupę blokującą całą witrynę dla GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider i meta-externalagent. Google-Extended i Applebot-Extended nie są osobnymi robotami: to tokeny, które mówią Google i Apple, by nie wykorzystywały twoich treści do trenowania modeli AI ani do generowania odpowiedzi, bez wpływu na zwykłe indeksowanie w wyszukiwarce. Nowe roboty AI pojawiają się regularnie, więc co jakiś czas przeglądaj listę.