Technisches SEO

Robots.txt-Generator — in Sekunden eine gültige robots.txt erstellen

Wählen Sie eine Vorlage oder passen Sie Ihre eigenen Regeln an, legen Sie fest, welche KI-Crawler gesperrt werden sollen, und kopieren Sie eine fertige robots.txt-Datei zum Hochladen.

Vorlagen füllen die Felder unten aus — Sie können vor dem Generieren trotzdem alles anpassen.
Status
0 Regeln
 
0
Direktivzeilen
0
User-agent-Gruppen
0
Gesperrte KI-Crawler
0
Sitemap-Zeilen
Tipp: Laden Sie die erzeugte Datei als /robots.txt in das Stammverzeichnis Ihrer Domain hoch — aus einem Unterordner funktioniert sie nicht.

Ein Robots.txt-Generator nimmt das Rätselraten aus einer der ältesten und am häufigsten missverstandenen Dateien des Webs. Dieses kostenlose Tool erstellt in Sekunden eine syntaktisch korrekte robots.txt — wählen Sie eine Vorlage für WordPress, E-Commerce oder ein vollständig eigenes Regelwerk, entscheiden Sie, ob Sie die neue Welle der KI-Crawler sperren möchten, und kopieren Sie das Ergebnis direkt in das Stammverzeichnis Ihrer Website.

Dieselben wenigen Fehler verursachen die meisten Probleme mit der robots.txt: das Sperren von CSS- und JS-Dateien, die Google zum Rendern der Seite braucht, der Versuch, mit der robots.txt eine bereits indexierte Seite zu „verstecken“, und ein vergessenes Disallow: / aus dem Staging auf einer Live-Website. Diese Seite erklärt jede dieser Fallen, damit Sie Ihr Ergebnis vor dem Hochladen dagegen prüfen können.

Was dieser Robots.txt-Generator leistet

Das Tool erstellt eine reine Textdatei robots.txt aus einer oder mehreren User-agent-Gruppen, jeweils gefolgt von Allow- und Disallow-Direktiven, einem optionalen Crawl-delay und einer Sitemap-Zeile, die Suchmaschinen auf Ihre XML-Sitemap verweist. Wählen Sie eine Vorlage, um sinnvolle Standardwerte einzutragen, setzen Sie Häkchen, um Sperrregeln für bestimmte KI-Crawler hinzuzufügen, und der Generator setzt daraus eine saubere, standardkonforme Datei zusammen, die Sie mit einem Klick kopieren können.

Jede Regel, die Sie hinzufügen, ist sichtbar, bevor Sie etwas kopieren — nichts wird versteckt oder automatisch eingefügt. Was Sie im Ausgabefeld sehen, wird genau so auf Ihren Server hochgeladen.

So verwenden Sie ihn

  1. Wählen Sie eine Vorlage. „Alle erlauben“ ist für die meisten kleinen Websites die sicherste Standardeinstellung. „WordPress-Standard“ sperrt Admin- und Suchpfade und lässt Inhalte, Core- und Plugin-Ordner (einschließlich ihrer CSS/JS-Dateien) crawlbar. „E-Commerce-Standard“ ergänzt Warenkorb-, Kassen- und Kontopfade.
  2. Passen Sie User-agent und Pfade an. Lassen Sie User-agent: * stehen, um alle Crawler anzusprechen, oder nennen Sie einen einzelnen Bot, wenn Sie eine Sonderregel brauchen.
  3. Tragen Sie Ihre Sitemap-URL ein. Diese eine Zeile hilft jeder Suchmaschine, Ihre Sitemap zu finden, ohne dass Sie sie überall manuell einreichen müssen.
  4. Entscheiden Sie über KI-Crawler. Setzen Sie Häkchen bei allen KI-Bots, die Sie aus Ihrer Trainingsdaten-Pipeline heraushalten möchten.
  5. Generieren und kopieren. Klicken Sie auf „Generieren“, prüfen Sie die Ausgabe und kopieren Sie sie dann in eine Datei mit genau dem Namen robots.txt im Stammverzeichnis Ihrer Domain.

Wie die robots.txt tatsächlich funktioniert

Die robots.txt folgt dem Robots Exclusion Protocol, einem freiwilligen Standard, den wohlerzogene Crawler prüfen, bevor sie eine Seite Ihrer Domain abrufen. Die Datei liegt unter https://yourdomain.com/robots.txt — und nirgendwo sonst —, und jeder Suchmaschinen-Bot liest sie zuerst, gleicht seinen eigenen User-agent-Namen mit Ihren Regeln ab und entscheidet dann, welche Pfade er abrufen darf. Google, Bing und andere große Suchmaschinen halten sich eng an dieses Protokoll, wie auf robotstxt.org, der ursprünglichen Spezifikationsseite, dokumentiert ist.

Crawling vs. Indexierung — der Fehler, der Websites kaputt macht

Das ist das Wichtigste, was Sie verstehen sollten, bevor Sie die robots.txt anfassen: Die robots.txt steuert das Crawling, nicht die Indexierung. Das sind zwei verschiedene Vorgänge, und ihre Verwechslung richtet echten Schaden an. Beim Crawling ruft der Google-Bot eine Seite ab und liest ihren Inhalt. Bei der Indexierung entscheidet Google, diese Seite zu speichern und in den Suchergebnissen anzuzeigen. Eine URL in der robots.txt per Disallow zu sperren, stoppt nur das Crawling — es garantiert nicht, dass die Seite aus den Suchergebnissen draußen bleibt.

Hier ist die Falle: Wenn andere Websites auf eine von Ihnen gesperrte Seite verlinken, kann Google die URL aufgrund dieses externen Signals trotzdem indexieren und in den Suchergebnissen ohne Titel und Beschreibung als bloßen Link anzeigen — oft schlechter für Ihre Marke, als hätten Sie sie voll crawlbar gelassen. Schlimmer noch: Sobald eine Seite gesperrt ist, kann der Google-Crawler sie nie wieder abrufen und somit auch nie ein noindex-Meta-Tag auf dieser Seite lesen. Eine in der robots.txt gesperrte Seite ist für genau den Mechanismus unsichtbar, der sie ordnungsgemäß aus dem Index entfernen würde.

Die richtige Lösung für „Ich möchte diese Seite nicht in den Suchergebnissen“ ist fast immer ein <meta name="robots" content="noindex">-Tag auf der Seite selbst, die voll crawlbar bleibt, damit Google diese Anweisung sehen und befolgen kann. Reservieren Sie Disallow-Regeln der robots.txt für Seiten, die gar nicht gecrawlt werden sollen — interne Suchergebnisse, gefilterte/facettierte URLs, die endlose doppelte Kombinationen erzeugen, Staging-Umgebungen oder Admin-Bereiche —, nicht für Seiten, die Sie aus der Suche entfernen möchten.

Die KI-Crawler-Frage, vor der jeder Publisher heute steht

Seit 2023 taucht in Server-Logs eine neue Kategorie von Crawlern auf: Bots, die Ihre Seite nicht für die Suche indexieren, sondern Ihre Inhalte auslesen, um große Sprachmodelle zu trainieren oder zu fundieren. GPTBot (OpenAI), CCBot (der Crawler hinter dem Common-Crawl-Datensatz, den viele KI-Labore nutzen), Google-Extended (ein robots.txt-Token, getrennt vom Googlebot, das steuert, ob von Google gecrawlte Inhalte zum Training und zur Fundierung von Gemini verwendet werden; Google sagt, es beeinflusse die Aufnahme in die Google-Suche nicht), ClaudeBot (Anthropic) und PerplexityBot (Perplexity AI) sind die, nach denen Website-Betreiber am häufigsten fragen.

Hier gibt es einen echten Zielkonflikt, keine eindeutig richtige Antwort. Das Sperren dieser Crawler bittet die Betreiber, Ihre Inhalte aus ihren KI-Trainingsdatensätzen herauszuhalten (die Einhaltung ist freiwillig, und eine Sperre entfernt nichts, was bereits gesammelt wurde) — was manche Publisher möchten, besonders wenn KI-generierte Antworten Suchanfragen befriedigen, ohne einen Klick auf die Originalseite zu senden.

Das Sperren bedeutet aber auch, dass Ihre Marke, Ihre Daten und Ihre Expertise nicht auftauchen, wenn jemand einem KI-Assistenten eine Frage stellt, die Ihr Inhalt hätte beantworten können. Für ein Unternehmen, das davon lebt, gefunden zu werden — also die meisten —, verdient dieser Zielkonflikt eine bewusste Entscheidung statt eines Standardwerts. Dieser Generator macht jeden KI-Crawler gerade deshalb zu einem eigenen Häkchen, damit Sie bewusst entscheiden, statt eine pauschale Sperrliste zu übernehmen, die Sie irgendwo online gefunden haben.

Gängige Robots.txt-Direktiven erklärt

  • User-agent — legt fest, für welchen Crawler die folgenden Regeln gelten. * trifft auf alle Crawler zu, die keinen spezielleren Block haben.
  • Disallow — weist den angegebenen Crawler an, keine URLs abzurufen, die zu diesem Pfad passen. Ein leerer Wert bedeutet, dass nichts gesperrt ist.
  • Allow — schafft eine Ausnahme innerhalb eines gesperrten Pfades, meist um eine bestimmte Datei (etwa ein CSS- oder JS-Asset) durchzulassen, obwohl der übergeordnete Ordner gesperrt ist.
  • Crawl-delay — bittet einen Bot, zwischen Anfragen eine bestimmte Anzahl Sekunden zu warten. Google unterstützt es nicht (dessen robots.txt-Dokumentation nennt nur user-agent, allow, disallow und sitemap); einige andere Crawler lesen es, die Unterstützung variiert jedoch je Bot. Setzen Sie es sparsam ein — eine lange Verzögerung kann verlangsamen, wie schnell ein Crawler, der sich daran hält, neue Inhalte entdeckt.
  • Sitemap — eine absolute URL, die auf Ihre XML-Sitemap verweist. Das ist die eine Direktive, die jede Suchmaschine liest, unabhängig davon, unter welchem User-agent-Block sie steht.

Was NICHT in die robots.txt gehört

Die robots.txt ist eine öffentliche Datei. Jeder — ein Wettbewerber, ein Sicherheitsforscher, ein neugieriger Besucher — kann yourdomain.com/robots.txt aufrufen und jeden aufgeführten Pfad lesen. Verwenden Sie niemals eine Disallow-Regel, um ein Admin-Panel, ein Staging-Unterverzeichnis mit sensiblen Daten oder eine noch nicht gestartete Produktseite zu „verstecken“. Den Pfad in der robots.txt aufzuführen lenkt oft mehr Aufmerksamkeit darauf, als ihn nicht aufzuführen, da dadurch die genaue URL-Struktur für jeden einsehbar wird. Wenn etwas wirklich privat bleiben muss, schützen Sie es mit Authentifizierung oder einer Firewall-Regel, nicht mit einer Textdatei, die wohlerzogene Bots höflich bittet wegzusehen — denn nicht jeder Bot ist wohlerzogen, und die robots.txt ist rein freiwillig.

Möchten Sie Ihr gesamtes technisches SEO-Fundament betreut haben, nicht nur eine Datei?

Die robots.txt ist nur ein kleines Teil eines größeren Bildes aus Crawlbarkeit und Indexierung. Die SEO-Leistungen von Arb Digital umfassen technische Audits, Indexierung und Seitenarchitektur.

Unsere SEO-Leistungen ansehen Alle kostenlosen Tools

Häufige Fehler, die Sie vermeiden sollten

  • CSS/JS-Ordner sperren. Google rendert Seiten wie ein Browser; das Sperren von Stylesheet- oder Skriptverzeichnissen kann dazu führen, dass Google eine kaputte, ungestaltete Seite sieht und ihre Qualität falsch einschätzt.
  • Disallow nutzen, um indexierte Seiten zu entfernen. Das funktioniert nicht zuverlässig und kann nach hinten losgehen — verwenden Sie stattdessen noindex-Tags auf einer crawlbaren Seite.
  • Die Sitemap-Zeile vergessen. Sie kostet eine Zeile und hilft jedem Crawler, Ihre Sitemap ohne manuelles Einreichen zu finden.
  • Tippfehler im Dateinamen oder am Speicherort. Sie muss exakt robots.txt heißen, kleingeschrieben, im Stammverzeichnis der Domain liegen — nicht in einem Unterordner, nicht als Robots.TXT.
  • Versehentlich alles auf einer Live-Website sperren. Ein vergessenes Disallow: / aus einer Staging-Umgebung ist eine der häufigsten Ursachen dafür, dass eine Website plötzlich aus den Suchergebnissen verschwindet.
  • Annehmen, dass die robots.txt eine Seite aus den Suchergebnissen heraushält. Sie blockiert nur das Crawling — siehe den Abschnitt zu Crawling vs. Indexierung oben.

Verwandte kostenlose Tools von Arb Digital

Sobald Ihre robots.txt live ist, kombinieren Sie sie mit dem XML-Sitemap-Generator, um die oben referenzierte Sitemap zu erstellen. Wenn Sie URL-Änderungen planen, erledigt der htaccess-Weiterleitungs-Generator 301-Weiterleitungen richtig. Prüfen Sie mit dem Google-Cache-Checker, ob eine Seite tatsächlich indexiert ist, kontrollieren Sie Ihre On-Page-Tags mit dem Meta-Tag-Generator, ergänzen Sie strukturierte Daten mit dem Schema-Markup-Generator oder stöbern Sie in unserer Übersicht der kostenlosen Online-Tools.

Rechenbeispiel mit den Standardwerten

Öffnen Sie diese Seite und sehen Sie sich das Ausgabefeld an, ohne etwas zu ändern (die Datei wird beim Laden erzeugt; ein Klick auf „Generieren“ wiederholt das). Dies sind die Startwerte, direkt aus dem Formular übernommen:

  • Vorlage: wordpress
  • User-agent: *
  • Sitemap-URL: https://www.example.com/sitemap.xml
  • Crawl-delay: leer
  • KI-Crawler-Häkchen: alle fünf nicht gesetzt

Der Generator liefert folgendes Ergebnis, berechnet mit demselben Code, der oben läuft:

  • Status: 6 Regeln
  • Direktivzeilen: 6
  • User-agent-Gruppen: 1
  • Gesperrte KI-Crawler: 0
  • Sitemap-Zeilen: 1

Die Ausgabe ist eine User-agent: *-Gruppe mit fünf Disallow-Zeilen (/wp-admin/, /readme.html, /trackback/, /?s=, /search/), einer Zeile Allow: /wp-admin/admin-ajax.php und einer Leerzeile, gefolgt von Sitemap: https://www.example.com/sitemap.xml. Die Statuszeile lautet „1 User-Agent-Gruppe“. Setzen Sie die fünf KI-Häkchen, und jedes fügt seine eigene Gruppe mit Disallow: / hinzu, sodass die Zähler auf 11 Direktivzeilen und 6 Gruppen steigen.

So lesen Sie Ihr Ergebnis

  • Direktivzeilen zählt Disallow-, Allow- und Crawl-delay-Zeilen plus eine je gesperrtem KI-Bot. User-agent- und Sitemap-Zeilen zählen nicht mit.
  • Ersetzen Sie die Beispiel-Sitemap-URL durch Ihre echte. Der Standardwert ist ein Platzhalter, den es nicht gibt.
  • Halten Sie CSS/JS crawlbar. Die WordPress-Vorlage lässt /wp-includes/ und /wp-content/plugins/ bewusst offen, weil dort Skripte und Stile liegen, die Ihre Seiten zum Rendern brauchen. Google empfiehlt, Crawlern den Abruf dieser Ressourcen zu erlauben, fügen Sie sie daher nicht wieder hinzu.
  • Achten Sie auf Disallow: / unter User-agent: *. Das sperrt die gesamte Website und gehört nur auf eine Staging-Kopie.

Wie es weitergeht

  • Laden Sie die Datei als /robots.txt im Stammverzeichnis der Domain hoch und öffnen Sie sie dann im Browser, um zu prüfen, dass sie als reiner Text geladen wird.
  • Testen Sie einige wichtige URLs mit dem robots.txt-Bericht und dem URL-Prüftool in der Google Search Console.
  • Erstellen Sie die referenzierte Sitemap mit dem XML-Sitemap-Generator und verwenden Sie noindex statt Disallow für Seiten, die aus der Suche verschwinden sollen.

Häufig gestellte Fragen

Verhindert die robots.txt, dass eine Seite in den Google-Suchergebnissen erscheint?

Nicht zuverlässig. Die robots.txt blockiert nur das Crawling. Wenn andere Websites auf eine gesperrte URL verlinken, kann Google sie trotzdem indexieren und anzeigen — meist als bloßen Link ohne Snippet, weil Google die Seite nie lesen durfte. Um eine Seite zuverlässig aus den Suchergebnissen herauszuhalten, lassen Sie sie crawlbar und fügen Sie stattdessen ein noindex-Meta-Tag hinzu.

Sollte ich GPTBot, ClaudeBot und andere KI-Crawler sperren?

Das hängt von Ihren Zielen ab. Das Sperren bittet diese Betreiber, Ihre Inhalte aus den Trainingsdaten von KI-Modellen herauszuhalten (Google-Extended betrifft Gemini-Training und -Fundierung, und Google sagt, es beeinflusse die Aufnahme in die Suche nicht). Die Einhaltung ist freiwillig, und eine Sperre kann auch bedeuten, dass KI-Assistenten Ihre Inhalte seltener heranziehen, was Sichtbarkeit kosten kann. Es gibt keine allgemeingültig richtige Antwort — dieser Generator lässt Sie jeden Crawler einzeln wählen.

Wo muss die robots.txt hochgeladen werden?

Sie muss im Stammverzeichnis Ihrer Domain liegen, zum Beispiel https://www.example.com/robots.txt. In einem Unterordner wie /blog/robots.txt wird sie nicht erkannt, und jede Subdomain braucht ihre eigene Kopie, wenn sie abweichende Crawl-Regeln hat.

Was bewirkt Crawl-delay eigentlich?

Es bittet einen Crawler, zwischen Anfragen eine bestimmte Anzahl Sekunden zu warten, um die Serverlast zu verringern. Google unterstützt diese Direktive nicht, sie hat daher keine Wirkung auf den Googlebot. Einige andere Crawler lesen sie, die Unterstützung variiert jedoch je Bot, und ein hoher Wert kann verlangsamen, wie schnell diese Crawler neue Seiten entdecken.

Ist es sicher, private Ordner in der robots.txt aufzulisten?

Nein. Die robots.txt ist eine öffentliche Datei, die jeder einsehen kann. Einen sensiblen Pfad dort aufzuführen, macht seinen genauen Ort für jeden sichtbar, der nachsieht — auch für Bots, die die Regeln komplett ignorieren. Nutzen Sie Authentifizierung oder Zugriffskontrollen auf Serverebene für alles, was tatsächlich privat bleiben muss.

Brauche ich überhaupt eine robots.txt-Datei?

Technisch nein — wenn keine existiert, gehen Crawler davon aus, dass alles erlaubt ist. Eine zu haben ist aber weiterhin gute Praxis: Sie können Crawler auf Ihre Sitemap hinweisen, wenig wertvolle Crawl-Pfade wie interne Suche oder gefilterte URLs sperren und eine bewusste Entscheidung zu KI-Crawlern treffen, statt das alles dem Standardverhalten zu überlassen.

Gehen Sie weiter

Möchten Sie ein umfassenderes Bild Ihrer eigenen Website? Starten Sie den kostenlosen KI-Website-Audit für einen Bericht Seite für Seite.