robots.txt-Tester

So funktioniert es

1. Die robots.txt wird geladen — vom Host der Website abgerufen (/robots.txt, max. 512 KB, Weiterleitungen werden befolgt) oder eingefügt; eine fehlende Datei (4xx) bedeutet, dass alles erlaubt ist, ein Serverfehler (5xx) bedeutet, dass Google nichts crawlt, bis der Server wieder antwortet
2. Sie wird in Gruppen zerlegt: Jede Folge von User-agent-Zeilen beginnt eine Gruppe mit den darauf folgenden Allow- und Disallow-Regeln; Sitemap-Zeilen gelten global; unbekannte Direktiven werden behalten und markiert
3. Die Gruppe für den Crawler wird gewählt: das spezifischste User-agent-Token, das auf das Produkt-Token des Crawlers passt (ohne Beachtung der Groß-/Kleinschreibung, z. B. Googlebot-Image vor Googlebot); nur wenn keines passt, die Gruppe User-agent: *; gibt es keine von beiden, ist alles erlaubt
4. Der Pfad wird gegen jede Regel dieser Gruppe abgeglichen — * steht für beliebige Zeichen, $ verankert das Ende, andernfalls gilt ein Präfix-Abgleich auf dem prozent-normalisierten Pfad samt Query
5. Die Regel mit dem längsten passenden Muster entscheidet; bei Gleichstand gewinnt Allow; kein Treffer bedeutet erlaubt
6. Das Ganze wird für 20 bekannte Crawler (Suche, KI-Training, KI-Antwortmaschinen, Social-Vorschauen, SEO-Tools) für das Root und den getesteten Pfad wiederholt; Syntax-Warnungen und Sitemap-Zeilen werden aufgelistet

Über robots.txt und wie Crawler sie lesen

Die robots.txt ist eine Klartextdatei im Root eines Hosts, die Crawlern sagt, welche Pfade sie abrufen dürfen. Sie ist eine Bitte, kein Schloss: Regelkonforme Crawler — jede große Suchmaschine und die KI-Bots, die einen User-Agent veröffentlichen — lesen sie vor dem Crawlen, aber nichts hält einen Crawler auf, der sie ignoriert. Ihre Regeln betreffen nur das Crawlen, nicht die Indexierung: Eine blockierte Seite kann weiterhin in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken, nur ohne Beschreibung. Damit eine Seite aus dem Index bleibt, muss sie crawlbar sein und ein noindex-Tag tragen.

Die Abgleichregeln sind präzise und werden meist missverstanden. Ein Crawler verwendet nur eine Gruppe: die, deren User-agent-Token am spezifischsten auf ihn passt, andernfalls die Gruppe für * — nie beide. Innerhalb dieser Gruppe gewinnt das längste passende Pfadmuster, unabhängig von der Reihenfolge der Zeilen, und passen ein Allow und ein Disallow mit gleicher Länge, gewinnt Allow. * steht für eine beliebige Zeichenfolge und $ verankert ein Muster am Ende des Pfads; ohne $ ist jede Regel ein Präfix. Dieser Tester setzt diese Regeln so um, wie RFC 9309 und Googles Dokumentation sie beschreiben, und zeigt die Zeile, die die Entscheidung getroffen hat, statt nur das Urteil.

Die Übersicht je Crawler gibt es, weil die robots.txt zu dem Ort geworden ist, an dem Websites entscheiden, wer ihre Inhalte für KI nutzen darf. GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider und meta-externalagent sammeln Trainingsdaten; OAI-SearchBot, ChatGPT-User, PerplexityBot und Claude-Web rufen Seiten ab, um Fragen zu beantworten, und können Traffic senden; Googlebot und Bingbot indexieren für die Suche. Ein einzelnes Disallow: / unter User-agent: * blockiert sie alle auf einmal, auch die, die Besucher bringen. Die Tabelle zeigt, was jeder benannte Bot mit der Datei in ihrer aktuellen Form täte, sodass die Abwägung sichtbar wird statt zufällig.

Die Warnungen decken die Fehler ab, die das Verhalten unbemerkt verändern: eine Regel vor der ersten User-agent-Zeile (wird ignoriert), ein leeres Disallow (erlaubt alles), ein Pfad ohne führenden Schrägstrich, eine relative Sitemap-URL, Crawl-delay (das Google und Bing ignorieren), eine Noindex-Direktive (seit 2019 nicht unterstützt), eine doppelte Gruppe, eine Byte-Order-Mark und eine Datei über der Größe, die Google liest. Nichts davon ist ein Rat, was zu blockieren wäre — das hängt von der Website ab — sondern nur eine Prüfung, ob die Datei sagt, was ihr Autor meinte.

Häufige Fragen

Entfernt ein Disallow in der robots.txt eine Seite aus Google?

Nein. Es hindert den Googlebot daran, die Seite abzurufen, aber die URL kann über Links von anderswo weiterhin indexiert und ohne Snippet angezeigt werden. Um eine Seite aus dem Index zu entfernen oder herauszuhalten, lassen Sie sie crawlen und setzen ein Meta-Robots-noindex-Tag oder einen X-Robots-Tag-Header. Eine Seite in der robots.txt zu blockieren und gleichzeitig mit noindex zu versehen funktioniert nicht, weil das noindex nie gesehen wird.

Welche Regel gewinnt, wenn Allow und Disallow beide passen?

Die mit dem längeren Pfadmuster. Disallow: /admin/ und Allow: /admin/help passen beide auf /admin/help/start; das Allow-Muster ist länger, also ist der Pfad erlaubt. Haben zwei Muster genau dieselbe Länge, gewinnt Allow. Die Reihenfolge der Zeilen spielt keine Rolle.

Gilt die Gruppe User-agent: * auch für den Googlebot?

Nur, wenn es keine Gruppe gibt, die Googlebot nennt. Ein Crawler folgt genau einer Gruppe — dem spezifischsten Treffer für sein Token, andernfalls *. Regeln werden nie über Gruppen hinweg zusammengeführt; deshalb lässt eine Website mit einer Googlebot-Gruppe ohne Disallow-Zeilen den Googlebot alles crawlen, was die *-Gruppe blockiert.

Wie blockiere ich KI-Bots, ohne Suchmaschinen zu blockieren?

Geben Sie jedem KI-Crawler eine eigene Gruppe oder fassen Sie mehrere Tokens in einer Gruppe zusammen: User-agent: GPTBot, User-agent: CCBot, dann Disallow: /. Lassen Sie die *-Gruppe und etwaige Googlebot- oder Bingbot-Gruppen unverändert. Die Übersichtstabelle zeigt, welche benannten Bots am Ende blockiert sind und welche Such-Crawler unberührt bleiben. Beachten Sie, dass Google-Extended die Nutzung für das Gemini-Training steuert, nicht aber das Crawlen durch den Googlebot.

Warum sagt der Tester, meine Datei erlaube alles, obwohl sie Disallow-Zeilen enthält?

Meist, weil die Disallow-Zeilen vor der ersten User-agent-Zeile stehen oder weil der gewählte Crawler eine eigene Gruppe ohne diese Regeln hat. Die Zeilenhervorhebung zeigt, welche Gruppe angewendet wurde; die Warnliste markiert Regeln, die zu keiner Gruppe gehören.

Wird Crawl-delay unterstützt?

Nicht von Google oder Bing — Google ignoriert die Direktive vollständig, und Bing bevorzugt die Crawl-Rate-Einstellung in den Webmaster Tools. Yandex beachtet sie seit 2018 nicht mehr; nur einige kleinere Crawler tun es noch. Der Tester parst sie und markiert sie, damit Sie wissen, dass sie bei den beiden größten Suchmaschinen nicht das tut, was Sie vielleicht erwarten.

Was passiert, wenn die robots.txt einen Fehler zurückgibt?

Ein 404 oder ein anderer 4xx bedeutet, dass es keine robots.txt gibt, und Crawler gehen davon aus, dass alles erlaubt ist. Einen 5xx oder einen Timeout behandelt Google als vorübergehende vollständige Sperre: Es stellt das Crawlen ein und kann diesen Zustand bis zu 30 Tage beibehalten, bevor es annimmt, dass keine Regeln gelten. Einer Weiterleitung auf einen anderen Host wird gefolgt, die Regeln gelten dann aber nur für den ursprünglichen Host, wenn die Datei gefunden wird.