Zum Inhalt springen
SPCXTools

Robots.txt Generator

Erstellen und laden Sie eine individuelle robots.txt-Datei herunter, um Suchmaschinen-Crawler zu steuern und KI-Bots zu blockieren.

Läuft lokal – Dateien verlassen dein Gerät nicht

Tool wird geladen…

So nutzt du: Robots.txt Generator

  1. 1Wählen Sie eine Standardrichtlinie aus, um das Crawlen Ihrer Website für alle Suchmaschinen entweder zu erlauben oder zu verbieten.
  2. 2Fügen Sie benutzerdefinierte Regeln für bestimmte User-Agents und Pfade hinzu (z. B. Zugriff auf /admin/ oder /private/ verbieten).
  3. 3Legen Sie eine optionale Crawl-Verzögerung fest, um zu verhindern, dass aggressive Bots Ihren Server überlasten.
  4. 4Aktivieren Sie das Kästchen "KI-Crawler blockieren", um sofort Regeln hinzuzufügen, die gängige KI-Bots am Auslesen Ihrer Inhalte hindern.
  5. 5Geben Sie Ihre Sitemap-URLs ein und kopieren Sie dann den generierten Code oder laden Sie die Datei direkt auf Ihr Gerät herunter.

Ein schneller, privater robots.txt Generator

Es ist für SEO und Server-Performance entscheidend zu steuern, wie Suchmaschinen und Web-Scraper mit Ihrer Website interagieren. Dieser robots.txt Generator bietet eine visuelle Benutzeroberfläche, mit der Sie die Crawler-Anweisungen Ihrer Website erstellen, verwalten und exportieren können, ohne die Syntax manuell schreiben zu müssen.

Da das Tool komplett in Ihrem Browser ausgeführt wird, bleiben Ihre Website-Struktur, private Pfade und Konfigurationen absolut vertraulich. Keine Ihrer Eingaben wird jemals an einen Server gesendet. Sie erhalten eine sich in Echtzeit aktualisierende Ausgabe, die Sie sofort kopieren oder herunterladen können.

Hauptfunktionen und Features

Standard-Zugriffsrichtlinien: Legen Sie zunächst das grundlegende Verhalten für alle Bots fest. Sie können alles erlauben (Standard für die meisten öffentlichen Websites) oder alles verbieten (nützlich für Staging-Umgebungen oder private Netzwerke).

Benutzerdefinierte Direktiven: Fügen Sie spezifische Regeln für einzelne Bots oder Pfade hinzu. Sie können alle Crawler für sensible Verzeichnisse wie /admin/ oder /search blockieren, während Sie bestimmten Bots den Zugriff auf ausgewählte Dateien erlauben.

KI-Crawler blockieren: Mit dem Aufstieg großer Sprachmodelle möchten viele Website-Betreiber nicht, dass ihre Inhalte für KI-Training gescrapt werden. Dieses Tool bietet eine spezielle Funktion, um KI-Crawler über robots.txt-Regeln zu blockieren. Ein einziges Häkchen fügt sofort Disallow: /-Direktiven für die häufigsten KI-Bots hinzu, darunter GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended und Bytespider.

Crawl-Verzögerung: Wenn Ihr Server unter hohem Traffic durch automatisierte Bots leidet, können Sie eine Crawl-Verzögerung festlegen. Dies erzeugt eine Crawl-delay-Direktive, die Bots anweist, eine bestimmte Anzahl von Sekunden zwischen den Anfragen zu warten.

Sitemap-Integration: Eine Sitemap-Direktive in der robots.txt ist der effizienteste Weg, Suchmaschinen mitzuteilen, wo sie Ihre XML-Sitemaps finden. Sie können mehrere Sitemap-URLs einfügen (eine pro Zeile), und das Tool wird sie korrekt formatieren und am Ende Ihrer Datei anfügen.

robots.txt-Dateien effektiv erstellen

Beim Erstellen von robots.txt-Dateien ist es wichtig zu verstehen, wie Crawler die Anweisungen lesen. Die Datei ist in Blöcke unterteilt. Jeder Block beginnt mit einer User-agent-Deklaration, gefolgt von den entsprechenden Regeln.

  1. User-agent bestimmen: Der User-agent ist der Name des Bots. Ein Sternchen (*) wendet die Regel auf alle Bots an. Um gezielt den Bild-Crawler von Google anzusprechen, verwenden Sie Googlebot-Image.
  2. Pfad definieren: Pfade sind relativ zum Stammverzeichnis Ihrer Domain und müssen mit einem Schrägstrich (/) beginnen. Um ein komplettes Verzeichnis zu sperren, fügen Sie den abschließenden Schrägstrich hinzu (z. B. /private/). Um eine bestimmte Datei zu sperren, geben Sie die Dateiendung an (z. B. /data.csv).
  3. Rangfolge: Die meisten modernen Crawler suchen nach dem spezifischsten User-agent-Block, der zu ihrem Namen passt. Besucht der Googlebot Ihre Website, folgt er den spezifischen Regeln unter User-agent: Googlebot und ignoriert den Block User-agent: *. Dieser Generator ordnet Ihre Regeln automatisch nach User-agent, um eine saubere und valide Ausgabe zu gewährleisten.

Die Grenzen verstehen

Ein Robots.txt-Generator macht es zwar einfach, die richtige Syntax zu erstellen, aber es ist wichtig zu verstehen, was diese Datei nicht leisten kann.

Sie ist keine Sicherheitsmaßnahme. Wenn Sie einen Pfad in Ihrer robots.txt-Datei sperren, weist das seriöse Bots an, diesen nicht zu crawlen. Bösartige Scraper ignorieren die Datei jedoch völlig. Zudem kann jeder Ihre robots.txt-Datei im Browser aufrufen. Das bedeutet, dass Sie den Speicherort Ihrer versteckten Verzeichnisse öffentlich preisgeben. Für echte Sicherheit sollten Sie eine richtige Authentifizierung und passende HTTP-Statuscodes wie 401 Unauthorized oder 403 Forbidden verwenden.

Sie garantiert keine Deindexierung. Wenn eine Seite in der robots.txt gesperrt ist, wird Google sie nicht crawlen. Wenn diese Seite jedoch von einer anderen Website verlinkt wird, indexiert Google die URL möglicherweise trotzdem (oft mit dem Hinweis "Für diese Seite sind keine Informationen verfügbar"). Wenn Sie eine Seite vollständig aus den Suchergebnissen entfernen möchten, sollten Sie das Crawling in der robots.txt zulassen und stattdessen ein noindex-HTML-Tag verwenden. Die passenden Tags können Sie mit unserem Meta Tag Generator erstellen.

Bereitstellung und Testen

Sobald Sie Ihre Regeln konfiguriert haben, klicken Sie auf Download, um die Datei zu speichern. Die Datei muss genau robots.txt (alles kleingeschrieben) heißen und in das Hauptverzeichnis Ihrer Domain hochgeladen werden. Zum Beispiel: https://yourdomain.com/robots.txt. Wenn Sie die Datei in einem Unterordner ablegen, z. B. https://yourdomain.com/assets/robots.txt, können Crawler sie nicht finden und gehen davon aus, dass keine Einschränkungen gelten.

Häufige Fragen

Was ist eine robots.txt-Datei?
Eine robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis einer Website. Sie gibt Web-Robotern (wie dem Googlebot) Anweisungen, welche Seiten oder Dateien sie von Ihrer Website abrufen dürfen und welche nicht.
Wie blockiere ich KI-Crawler?
Durch Aktivieren der Option „KI blockieren“ in diesem Tool werden automatisch Regeln hinzugefügt, die bekannte KI-Scraper wie GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended und andere ausschließen. Dadurch wird diesen Bots mitgeteilt, dass sie die Inhalte Ihrer Website nicht für das Training großer Sprachmodelle verwenden dürfen.
Was bewirkt das Crawl-Delay?
Die Crawl-Delay-Direktive teilt Bots mit, wie viele Sekunden sie zwischen aufeinanderfolgenden Anfragen an Ihren Server warten sollen. Dies ist nützlich, wenn aggressive Crawler zu viel Bandbreite verbrauchen oder Ihre Website verlangsamen. Beachten Sie, dass nicht alle Suchmaschinen (wie Google) diese Anweisung respektieren, viele andere jedoch schon.
Wo sollte ich die robots.txt-Datei platzieren?
Sie muss im obersten Stammverzeichnis Ihrer Website abgelegt werden. Wenn Ihre Domain beispielsweise example.com lautet, muss die Datei exakt unter https://example.com/robots.txt erreichbar sein. Wird sie in einem Unterverzeichnis platziert, können Crawler sie nicht finden.
Werden meine Website-Daten an einen Server gesendet, wenn ich dieses Tool nutze?
Nein. Dieser robots.txt-Generator läuft vollständig lokal in Ihrem Webbrowser. Ihre Regeln, Pfade und Sitemap-URLs werden niemals auf unsere Server hochgeladen oder dort gespeichert.
Verbirgt die robots.txt meine Seiten in den Suchergebnissen?
Nicht unbedingt. Sie hindert Suchmaschinen zwar daran, den Seiteninhalt zu crawlen, die URL kann aber dennoch in den Suchergebnissen erscheinen, wenn andere Websites darauf verlinken. Um eine Seite vollständig aus dem Suchindex zu entfernen, sollte stattdessen ein "noindex"-Meta-Tag verwendet werden.

Ähnliche Tools

Meta Tag GeneratorErstellen Sie Standard-SEO-, Open Graph- und Twitter Card-Meta-Tags mit einer Live-Vorschau der Suchergebnisse.HTTP-StatuscodesSuche und filtere Standard-HTTP-Antwortcodes, um Serverfehler und Statusmeldungen schnell zu verstehen.URL kodieren & dekodierenText für URLs prozent-kodieren oder kodierte URLs und Query-Strings wieder in lesbaren Text umwandeln.Base64 Kodieren & DekodierenWandeln Sie Text und Dateien in Base64 um und zurück, mit voller Unterstützung für UTF-8 und Base64URL.Base64 zu BildDekodieren Sie Base64-Strings und Data URIs direkt im Browser zurück in sichtbare, herunterladbare Bilder.Chmod-RechnerKonvertiere zwischen Checkboxen, Oktalzahlen wie 755 und symbolischen Rechten wie rwxr-xr-x.