Zugang für KI-Such-Crawler

Was geprüft

Ausgewertet wird die robots.txt für den Pfad der geprüften Seite: Sind die Such-Crawler der KI-Suchen zugelassen (Crawler-Liste mit Quelle und Prüfdatum je Eintrag, z. B. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot)? Weiterleitungen werden höchstens fünfmal verfolgt. Antwortet die robots.txt danach mit 4xx oder steht am Ende noch eine Weiterleitung, gilt sie als nicht vorhanden, und nach RFC 9309 (Internet-Standard für robots.txt) ist alles erlaubt. Googlebot und Bingbot prüft der Punkt „Indexierbarkeit (Statuscode, noindex, robots.txt)“; antwortet die robots.txt mit 5xx, bewertet das der Punkt „robots.txt“.

Wie relevant

Mittel, wenn alle Such-Crawler der KI-Suchen gesperrt sind; Niedrig, wenn nur einzelne gesperrt sind. Gemeinsam mit dem Inhalt ohne JavaScript ist das die am stärksten gewichtete Prüfung der Kategorie, weil ohne Zugang keine Aufnahme in diese Suchen möglich ist. Sperrt die robots.txt bereits alle Bots, zählt das nur einmal im Punkt „Indexierbarkeit (Statuscode, noindex, robots.txt)“.

Warum

Such-Crawler (Programme, die Seiten für einen Suchindex abrufen) bauen den Index, aus dem KI-Suchen ihre Quellen wählen. Ist ein Crawler gesperrt, kann die Seite in dessen Antworten nicht als Quelle erscheinen. Eine Sperre kann beabsichtigt sein; ob eine erlaubte Seite tatsächlich genannt wird, lässt sich nicht vorhersagen.

Wie beheben

Prüfen Sie, ob die Sperre gewollt ist. Wenn nicht: Entfernen Sie die Disallow-Regel für den betreffenden Crawler oder erlauben Sie ihn ausdrücklich. Such- und Trainings-Crawler haben getrennte Kennungen, Sie können also Training ausschließen und die Suche zulassen.

Nebenwirkung: Eine eigene User-agent-Gruppe für einen Crawler ersetzt für ihn die Regeln unter „User-agent: *“ vollständig; wiederholen Sie dort nötige Sperren (z. B. für Admin-Bereiche). Testen Sie die Datei vorher mit einem robots.txt-Tester und beachten Sie, dass Crawler die Datei zwischenspeichern.

WordPress: WordPress erzeugt eine virtuelle robots.txt, die SEO- und Sicherheits-Plugins verändern können. Liegt eine echte Datei robots.txt im Hauptverzeichnis, hat sie Vorrang. Prüfen Sie nach Plugin-Updates, welche Fassung ausgeliefert wird.

Codebeispiel

robots.txt: KI-Suche erlauben, Training ausschließen

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /wp-admin/

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /wp-admin/

Weiterführende Quellen

• https://developers.openai.com/api/docs/bots
• https://support.claude.com/en/articles/8896518
• https://docs.perplexity.ai/guides/bots
• https://support.apple.com/en-us/119829
• https://www.rfc-editor.org/rfc/rfc9309.html