Die robots.txt gehört seit mehr als 25 Jahren zur technischen Grundausstattung von Websites. Durch KI-Suchsysteme hat die kleine, unscheinbare Datei nun aber eine neue strategische Bedeutung erhalten. Sie regelt heute nicht mehr allein, welche Bereiche klassische Suchmaschinen abrufen dürfen. Auch Anbieter generativer KI orientieren sich an ihren Vorgaben.
Eine passende robots.txt für KI Crawler schafft Klarheit: Sollen öffentliche Inhalte in KI-Suchen erscheinen, für Modelltraining abrufbar sein oder gezielt ausgeschlossen werden? GPTBot, ClaudeBot, PerplexityBot und Google-Extended erfüllen dabei unterschiedliche Aufgaben. Deshalb reicht eine pauschale Freigabe oder Sperre oft nicht aus. Entscheidend ist eine Konfiguration, die Sichtbarkeit, Datenschutz, Serverlast und wirtschaftliche Interessen gemeinsam berücksichtigt.
Warum sich die Frage «KI-Crawler erlauben oder blockieren?» überhaupt stellt
Wer KI-Crawler zulässt, eröffnet zusätzliche Wege zur Erhöhung der digitalen Reichweite. Systeme wie Perplexity oder die ChatGPT-Suche können frei zugängliche Seiten erfassen, als Quelle nennen und die entsprechenden Webseiten direkt in ihren Antworten verlinken. Ratgeber, Studien und Glossare können so ausserhalb klassischer Suchergebnisse sichtbar werden. Das eröffnet neue Wege zur Kundengewinnung.
Für eine Einordnung muss zunächst zwischen Suche und Modelltraining unterschieden werden. Trainingscrawler lassen sich sperren, wenn sensible oder lizenzierte Inhalte nicht für KI-Modelle genutzt werden sollen. Das gilt besonders für exklusive oder kostenpflichtige Inhalte.
GPTBot und OAI-SearchBot
OpenAI verwendet den OAI-SearchBot für Suchfunktionen und den GPTBot für Inhalte, die zur Verbesserung generativer Modelle herangezogen werden. Beide Kennungen lassen sich unabhängig steuern. Ein Unternehmen kann also die Auffindbarkeit in der ChatGPT-Suche unterstützen und GPTBot zugleich vom Training ausschliessen. Wer GPTBot erlauben möchte, sollte diese Entscheidung bewusst und getrennt von der Suchsichtbarkeit treffen.
PerplexityBot
Perplexity beschreibt PerplexityBot als Crawler für die Anzeige und Verlinkung von Websites in seinen Suchergebnissen. Nach Angaben des Anbieters dient dieser Bot nicht dem Training von Basismodellen. Für eine passende PerplexityBot Konfiguration ist daher entscheidend, welche öffentlichen Inhalte als zitierfähige Quellen erscheinen sollen.
ClaudeBot und Claude-SearchBot
Ähnlich wie OpenAI trennt Anthropic Training (ClaudeBot) von Suche (Claude-SearchBot). Auch ClaudeBot respektiert Sperren in der robots.txt. Eine Freigabe oder Blockierung lässt sich für beide getrennt festlegen. Welche Variante passt, hängt vom Inhalt und Geschäftsmodell ab.
Eine vollständige Freigabe kann sinnvoll sein, wenn eine Website mit frei verfügbaren Fachinformationen neue Kontaktpunkte schaffen will. Typische Vorteile sind:
- Zusätzliche Erwähnungen in KI-gestützten Such- und Antwortsystemen
- Mögliche Verweise auf Ratgeber, Angebote oder Produktseiten
- Bessere maschinelle Erfassbarkeit öffentlich zugänglicher Inhalte
- Neue messbare Zugriffe aus KI-Plattformen
Trotzdem ist Offenheit nicht für jeden Bereich angebracht. Als strategisch sinnvoll erweist sich eine Sperre vor allem bei Inhalten, deren unkontrollierte Verarbeitung potenziell Nachteile erzeugt. Dazu zählen interne Suchseiten, Filter-URLs, Testumgebungen, Kundenbereiche oder umfangreiche Archive ohne öffentlichen Nutzen. Auch exklusive Analysen, kostenpflichtige Inhalte und sensible Dokumente verdienen eine gesonderte Prüfung.
Darüber hinaus kann eine gezielte Begrenzung technische Ressourcen schonen. Unzählige Filterkombinationen, Kalenderansichten oder automatisch erzeugte Seiten liefern KI-Systemen kaum zusätzlichen Informationswert. Gleichzeitig verursachen sie Abrufe auf dem Server. Werden solche Pfade ausgeschlossen, konzentriert sich der Zugriff stärker auf relevante Inhalte.
Dabei bleibt eine wichtige Grenze: Die robots.txt ist keine Zugangssperre. Sie formuliert Regeln für kooperative Crawler, schützt aber keine vertraulichen Daten. Inhalte mit erhöhtem Sicherheitsbedarf gehören hinter ein Login, eine Zugriffskontrolle oder eine andere technische Absicherung. Zudem verhindert eine Crawling-Sperre nicht automatisch jede Indexierung oder Verlinkung.
Die robots.txt für KI Crawler dient somit vor allem der Steuerung. Sie kann öffentliche Wissensbereiche freigeben, unnötige Verzeichnisse ausschliessen und einzelne Bots unterschiedlich behandeln. Genau diese Abstufung macht sie für Unternehmen relevant.
Anleitung und gängige Strategien zur Konfiguration von robots.txt für KI Crawler
Zuerst muss geprüft werden, ob bereits eine Datei existiert. Dazu wird im Browser die Hauptdomain mit dem Zusatz /robots.txt geöffnet, beispielsweise example.ch/robots.txt. Erscheint eine Textdatei, liegt eine Konfiguration vor. Bei einer Fehlermeldung oder leeren Seite sollte das Content-Management-System oder der Hostingzugang geprüft werden.
Je nach Website befindet sich die Datei im Stammverzeichnis des Webservers. In WordPress kann sie physisch vorhanden sein oder dynamisch erzeugt werden. Änderungen erfolgen dann über den Hosting-Dateimanager, per FTP, über ein SEO-Plugin oder durch die zuständige Webadministration. Vor jeder Anpassung empfiehlt sich eine Sicherung der bisherigen Version.
Die Grundstruktur ist einfach. «User-agent» bezeichnet den Crawler. «Disallow» sperrt einen Pfad. Ein leerer Disallow-Eintrag erlaubt den Zugriff. «Allow» kann bestimmte Unterbereiche ausdrücklich freigeben. Gross- und Kleinschreibung sowie Schrägstriche müssen exakt stimmen.
Wer GPTBot erlauben will, kann folgende Regel verwenden:
User-agent: GPTBot
Disallow:
Soll GPTBot keine Inhalte abrufen, lautet die Variante:
User-agent: GPTBot
Disallow: /
Für die Suchsichtbarkeit in ChatGPT ist zusätzlich der OAI-SearchBot relevant. GPTBot erlauben allein bedeutet daher nicht automatisch, dass Inhalte in Suchantworten erscheinen. Eine differenzierte Freigabe sieht so aus:
User-agent: OAI-SearchBot
Disallow:
User-agent: GPTBot
Disallow: /
Damit bleibt die Website grundsätzlich für die ChatGPT-Suche erreichbar. Zugleich signalisiert die zweite Regel, dass GPTBot die Inhalte nicht für den vorgesehenen Trainingszweck abrufen soll. Suchpräsenz und Trainingszugriff lassen sich auf diese Weise getrennt behandeln.
Für den Anthropic-Crawler funktioniert die Steuerung nach demselben Prinzip:
User-agent: ClaudeBot
Disallow:
Eine vollständige Sperre erhält statt des leeren Eintrags einen Schrägstrich. Bei der PerplexityBot Konfiguration gilt ebenfalls: Ein leerer Disallow-Wert gibt den Zugriff frei, «Disallow: /» blockiert die gesamte Website.
User-agent: PerplexityBot
Disallow:
Für viele Unternehmen eignet sich eine selektive Strategie besser als ein pauschaler Entscheid. Öffentliche Fachbereiche bleiben erreichbar, technische oder irrelevante Verzeichnisse werden ausgeschlossen:
User-agent: GPTBot
Disallow: /intern/
Disallow: /suche/
Allow: /ratgeber/
Dasselbe Muster lässt sich auf weitere Crawler und die PerplexityBot Konfiguration übertragen. Die Voraussetzung sind klar strukturierte URL-Pfade. Liegen öffentliche und geschützte Inhalte im selben Verzeichnis, steigt das Risiko fehlerhafter Regeln. In solchen Fällen sollte zuerst die Seitenstruktur geprüft werden.
Google-Extended bildet einen weiteren Sonderfall. Der Steuerungstoken beeinflusst bestimmte Nutzungen von Inhalten für Gemini-Systeme, nicht jedoch die normale Google-Suche. Eine Sperre von Google-Extended entfernt Seiten daher nicht automatisch aus klassischen Suchresultaten. Auch KI-Funktionen innerhalb der Google-Suche werden über andere Mechanismen gesteuert.
Nach der Änderung braucht es eine technische Kontrolle. Folgende Punkte sollten geprüft werden:
- Ist die Datei unter /robots.txt öffentlich erreichbar?
- Enthält sie nur reine Textregeln und keine formatierte Webseite?
- Stimmen Botnamen, Pfade und Schrägstriche?
- Bleiben wichtige Bereiche für gewünschte Suchcrawler zugänglich?
- Zeigen Serverprotokolle Zugriffe der erwarteten Bots?
- Wurde versehentlich die gesamte Website gesperrt?
robots.txt testen
Eine korrekte robots.txt lässt sich direkt in der Google Search Console überprüfen. Das URL-Prüftool zeigt an, ob ein bestimmter Bot Zugriff auf eine Seite hat oder durch eine Regel gesperrt wird. So lassen sich Konfigurationsfehler gezielt aufspüren, bevor sie die Sichtbarkeit beeinträchtigen.
Bei umfangreichen Websites empfiehlt sich zudem ein gestufter Start. Zunächst können einzelne Inhaltsbereiche freigegeben werden. Anschließend zeigen Logdateien und Analyseprogramme, welche Crawler tatsächlich zugreifen und ob daraus relevante Verweise entstehen. Da User-Agent-Angaben gefälscht werden können, liefern verifizierte IP-Bereiche zusätzliche Sicherheit.
Eine robots.txt für KI Crawler sollte zudem regelmäßig kontrolliert werden. Neue Botnamen, veränderte Plattformfunktionen und umstrukturierte Verzeichnisse können alte Regeln unpassend machen. Besonders nach einem Relaunch, einem Wechsel des Content-Management-Systems bzw. einer Migration ist eine erneute Prüfung wichtig.
Eine präzise Konfiguration schafft die Grundlage für kontrollierte KI-Sichtbarkeit, ohne sämtliche Inhalte pauschal zu öffnen. Benötigt Ihre Website eine fachgerechte Prüfung der bestehenden Regeln? Nehmen Sie Kontakt auf und lassen Sie uns gemeinsam klären, welche Crawler Zugang erhalten und welche Bereiche gezielt geschützt bleiben sollten.
