Robots.txt-Generator

So nutzen Sie den Robots.txt-Generator

1. Wählen Sie unter Ausgangspunkt eine Vorlage: Alles erlauben, Alles sperren, KI-Crawler sperren oder WordPress. Anschließend können Sie jede Zeile ändern.
2. Listen Sie in jeder Gruppe die User-Agents auf, für die die Regeln gelten, einen pro Zeile. * steht für jeden Crawler, der keine eigene Gruppe hat.
3. Fügen Sie mit Regel hinzufügen Allow- und Disallow-Regeln hinzu. Pfade beginnen mit /, und Groß- und Kleinschreibung wird unterschieden.
4. Legen Sie optional ein Crawl-delay für Crawler fest, die es unterstützen, und fügen Sie mit User-Agent-Gruppe hinzufügen weitere Gruppen hinzu.
5. Tragen Sie Ihre Sitemap-URLs ein, eine absolute URL pro Zeile.
6. Sehen Sie sich die Prüfungen an, klicken Sie dann auf Herunterladen (die Datei heißt bereits robots.txt) oder Kopieren und laden Sie sie in das Stammverzeichnis Ihrer Website hoch, zum Beispiel https://example.com/robots.txt.

Alles läuft lokal in Ihrem Browser.

So funktioniert die robots.txt

Eine robots.txt teilt Crawlern mit, welche Bereiche einer Website sie abrufen dürfen. Sie folgt dem Robots Exclusion Protocol, das 2022 als RFC 9309 standardisiert wurde. Die Datei gilt nur für genau den Host und das Protokoll, unter dem sie ausgeliefert wird: https://shop.example.com/robots.txt deckt https://example.com nicht ab.

Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Regeln. Ein Crawler verwendet die Gruppe, deren User-Agent am genauesten zu seinem Namen passt, und ignoriert die übrigen; passt keine, greift er auf die Gruppe * zurück. Innerhalb der Gruppe wendet Google die Regel mit dem längsten passenden Pfad an, und sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow. Deshalb funktioniert Disallow: /wp-admin/ zusammen mit Allow: /wp-admin/admin-ajax.php.

Die großen Suchmaschinen unterstützen zwei Platzhalter: * steht für eine beliebige Zeichenfolge, und $ am Ende eines Pfads bedeutet „die URL endet hier“. So sperrt Disallow: /*.pdf$ jede URL, die auf .pdf endet. Ein leeres Disallow: bedeutet, dass nichts gesperrt ist – so schreibt das Tool eine Gruppe ohne Regeln.

Durchgeführte Prüfungen

• Eine Gruppe ohne User-Agent, die Crawler ignorieren würden.
• Pfade, die nicht mit / beginnen, Leerzeichen oder Umlaute enthalten (diese müssen prozentkodiert werden, aus ü wird %C3%BC) oder $ mitten im Pfad verwenden.
• Derselbe Pfad in einer Gruppe sowohl erlaubt als auch gesperrt.
• Ein User-Agent, der in mehreren Gruppen vorkommt: Google führt sie zusammen, andere Crawler lesen womöglich nur die erste.
• Relative oder ungültige Sitemap-URLs sowie eine Datei über 500 KiB – die Grenze, ab der Google nicht mehr weiterliest.
• Ein Crawl-delay für Google, das Google ignoriert. Bing und einige andere Crawler beachten es; bei Google passt sich die Crawling-Geschwindigkeit automatisch daran an, wie schnell Ihr Server antwortet.

Über KI-Crawler

Die Vorlage KI-Crawler sperren lässt normale Suchmaschinen zu und fügt eine Gruppe hinzu, die die gesamte Website für GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider und meta-externalagent sperrt. Google-Extended und Applebot-Extended sind keine eigenen Crawler, sondern Tokens, mit denen Sie Google und Apple mitteilen, dass Ihre Inhalte nicht zum Training oder zur Fundierung ihrer KI-Modelle verwendet werden sollen – ohne Auswirkung auf die normale Indexierung in der Suche. Es tauchen regelmäßig neue KI-Crawler auf, prüfen Sie die Liste daher von Zeit zu Zeit.