Robots.txt Generator
Erstellen Sie robots.txt für Ihre Website.
Robots.txt-Generator fuer SEO und Web-Crawling-Kontrolle
Die robots.txt ist ein Standard des Roboter-Ausschlussprotokols, der Web-Crawlern (Suchbots wie Googlebot, Bingbot usw.) anzeigt, welche Teile Ihrer Website gecrawlt und indexiert werden duerfen. Eine gut konfigurierte robots.txt ist fuer technisches SEO unverzichtbar.
Die Hauptanweisungen sind User-agent (welcher Bot), Disallow (blockiert Zugang), Allow (erlaubt Zugang innerhalb blockierter Pfade) und Sitemap. Sie koennen spezifische Regeln fuer verschiedene Bots erstellen, z.B. GPTBot blockieren, waehrend Googlebot vollen Zugang erhaelt.
Unser Generator ermoeglicht die visuelle Erstellung der Datei ohne Syntaxkenntnisse. Mit Presets fuer die gaengigsten Bots und haeufig zu blockierende Pfade.
Häufig gestellte Fragen
Wo soll ich die robots.txt-Datei platzieren?
Die robots.txt muss im Stammverzeichnis Ihrer Domain liegen, erreichbar unter example.com/robots.txt. Bots suchen die Datei genau an dieser Stelle. Bei Subdomains benoetigt jede ihre eigene robots.txt.
Verhindert robots.txt, dass meine Seiten bei Google erscheinen?
Nicht vollstaendig. Robots.txt blockiert das Crawling, aber Google kann eine URL indexieren, wenn sie in Links anderer Websites gefunden wird, obwohl der Inhalt nicht gesehen werden kann. Um die Indexierung zu verhindern, verwenden Sie das Meta-Tag noindex auf der Seite.
Kann ich KI-Bots wie ChatGPT blockieren?
Ja. Sie koennen spezifische Regeln fuer User-agent: GPTBot und User-agent: ChatGPT-User mit Disallow: / hinzufuegen. Ebenso ist ClaudeBot der User-Agent von Anthropic. Allerdings respektieren nicht alle KI-Bots die robots.txt.
Mehr erfahren? Lesen Sie unseren vollständigen Leitfaden →