⚡

Robots.txt Generator

Generiere robots.txt-Dateien mit visuellem Editor. Blockiere Bots, setze Crawl-Regeln, füge Sitemaps hinzu — mit Vorlagen für gängige Setups.

Tool UI component not found: dev/robots-txt

Uber dieses Tool

Die robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche Seiten sie zugreifen können und welche nicht. Sie befindet sich im Stammverzeichnis deiner Website und ist die erste Datei, die jeder gut erzogene Crawler überprüft, bevor er deinen Inhalt indexiert. Eine falsch konfigurierte robots.txt kann Google davon abhalten, deine gesamte Website zu indexieren, oder versehentlich Admin-Seiten offenlegen, die du verbergen wolltest. Dieser Generator hilft dir, eine korrekte robots.txt mit einem visuellen Editor zu erstellen — füge Regeln pro Bot hinzu, setze Allow/Disallow-Pfade, füge Sitemap-URLs hinzu und verwende Vorlagen für gängige Setups. Die generierte Datei folgt dem Robots Exclusion Protocol-Standard, der von Google, Bing, Yandex und allen großen Suchmaschinen unterstützt wird.

Anleitung

1. Beginne mit einer Vorlage oder erstelle von Grund auf 2. Füge User-Agent-Gruppen hinzu — jede Gruppe zielt auf einen bestimmten Bot (oder alle Bots mit *) 3. Füge Allow- und Disallow-Regeln für jede Gruppe hinzu 4. Setze optional Crawl-delay für Bots, die es unterstützen 5. Füge deine Sitemap-URL(s) am Ende hinzu 6. Kopiere die generierte robots.txt und lade sie in das Stammverzeichnis deiner Website hoch

Haufig gestellte Fragen

Wo platziere ich die robots.txt-Datei?
Die robots.txt-Datei muss im Stammverzeichnis deiner Website platziert werden, erreichbar unter https://deinedomain.de/robots.txt. Sie funktioniert nicht in Unterverzeichnissen.
Blockiert robots.txt Seiten davor, in Google zu erscheinen?
Nicht genau. Robots.txt blockiert das Crawling, nicht das Indexieren. Wenn andere Seiten auf eine von dir gesperrte Seite verlinken, kann Google sie trotzdem in Suchergebnissen anzeigen (ohne Snippet). Um das Indexieren vollständig zu blockieren, verwende stattdessen ein 'noindex' Meta-Tag.
Was bedeutet 'User-agent: *'?
Das Sternchen (*) ist ein Platzhalter, der alle Crawler abgleicht. Regeln unter 'User-agent: *' gelten für jeden Bot, der keinen eigenen spezifischen Abschnitt in der Datei hat.
Sollte ich KI-Crawler wie GPTBot blockieren?
Das hängt von deiner Präferenz ab. Wenn du nicht möchtest, dass dein Inhalt für KI-Training verwendet wird, kannst du 'User-agent: GPTBot' mit 'Disallow: /' hinzufügen, um OpenAIs Crawler zu blockieren. Ähnliche Regeln existieren für andere KI-Bots wie Google-Extended und CCBot.
Was ist Crawl-delay?
Crawl-delay weist Bots an, eine bestimmte Anzahl von Sekunden zwischen Anfragen zu warten. Es wird von Bing und Yandex unterstützt, aber von Google ignoriert. Verwende es, wenn aggressives Crawling deinen Server überlastet.
Kann ich Wildcards in robots.txt-Pfaden verwenden?
Google und Bing unterstützen begrenzte Wildcards: * entspricht einer beliebigen Zeichenfolge, und $ markiert das Ende einer URL. Zum Beispiel blockiert 'Disallow: /*.pdf$' alle PDF-Dateien. Nicht alle Bots unterstützen diese Erweiterungen.
Wie teste ich meine robots.txt vor dem Hochladen?
Verwende die Google Search Console oder Bing Webmaster Tools, die einen robots.txt-Tester haben. Du kannst dort URLs eingeben und sehen, ob sie blockiert oder erlaubt werden. Teste immer wichtige Seiten, bevor du Änderungen live schaltest.

Verwandte Tools

Htaccess Redirect Generator

Generiere .htaccess Redirect-Regeln — 301, 302, HTTPS, www und kanonische Weiterleitungen

IP-Subnetz-Rechner

Berechne Subnetzmaske, CIDR-Notation, IP-Bereich, Hostanzahl und Netzwerkdetails aus jeder IP-Adresse

Cron-Ausdruck-Generator

Erstelle und erkläre Cron-Ausdrücke visuell. Generiere Cron-Zeitpläne und sieh verständliche Beschreibungen.