robots.txt für KI-Crawler richtig konfigurieren

Damit ein KI-System Ihr Unternehmen in einer Antwort nennen kann, muss es Ihre Inhalte zuvor gelesen haben. Ob das erlaubt ist, steht in der robots.txt, einer kleinen Textdatei im Wurzelverzeichnis Ihrer Website. Viele Betriebe blockieren KI-Crawler unbeabsichtigt oder lassen alte, restriktive Regeln stehen und machen sich damit für KI-Antworten unsichtbar.

Wie robots.txt funktioniert

Die Datei liegt unter ihre-domain.de/robots.txt und weist einzelnen Bots über den User-agent-Namen Regeln zu. Mit Disallow sperren Sie Pfade, mit Allow geben Sie sie frei. Wichtig: robots.txt ist eine höfliche Bitte, kein technischer Zwang. Seriöse Crawler, dazu zählen die großen KI-Anbieter, halten sich daran.

Die relevanten KI-Crawler

Für GEO sind vor allem diese User-Agents relevant: GPTBot (OpenAI, für ChatGPT), OAI-SearchBot (OpenAI-Suche), ClaudeBot und Claude-Web (Anthropic), PerplexityBot (Perplexity) sowie Google-Extended (steuert die Nutzung durch Googles KI-Funktionen, getrennt vom normalen Googlebot).

Jeder dieser Bots erfüllt einen etwas anderen Zweck. Manche sammeln Trainingsdaten, andere holen Inhalte live ab, um eine aktuelle Frage zu beantworten. Für Sichtbarkeit in aktuellen KI-Antworten sind vor allem die abrufenden Bots wichtig.

Eine sinnvolle Grundkonfiguration

Für die meisten Mittelständler gilt: Erlauben Sie den relevanten KI-Crawlern den Zugang zu den öffentlichen Inhalten, sperren Sie nur, was ohnehin nicht in eine Antwort gehört (Warenkorb, Login-Bereiche, interne Suchergebnisse). Ein Eintrag wie "User-agent: GPTBot" gefolgt von "Allow: /" gibt den öffentlichen Bereich frei.

Vermeiden Sie eine pauschale Sperre über "User-agent: *" mit "Disallow: /", sofern Sie überhaupt gefunden werden wollen. Diese Regel schließt neben Suchmaschinen auch alle KI-Systeme aus.

Kontrolle behalten

Zugang erlauben heißt nicht, die Kontrolle abzugeben. Sie entscheiden weiterhin, welche Pfade offen sind, und können einzelne Bots gezielt ausschließen, etwa wenn Sie die Nutzung zu Trainingszwecken ablehnen, den Abruf für aktuelle Antworten aber erlauben möchten.

Prüfen Sie die Datei nach jeder Änderung mit einem robots.txt-Tester und behalten Sie im Blick, dass neue KI-Crawler hinzukommen. Ein GEO-Check erkennt automatisch, welche der wichtigen Bots aktuell blockiert sind.