Regeln für Trainings-Crawler

Was geprüft

Ausgewertet wird die robots.txt für den Pfad der geprüften Seite; aufgelistet wird, welche Trainings-Crawler gesperrt sind (z. B. GPTBot, ClaudeBot, CCBot). Getrennt davon ausgewiesen werden die Kennungen Google-Extended und Applebot-Extended: Sie sind keine eigenen Crawler und regeln nur die Verwendung der Inhalte, nicht die Aufnahme in die Suche.

Wie relevant

Nur Information, ohne Wertung. Ob Inhalte für das Training von KI-Modellen genutzt werden dürfen, ist eine Entscheidung des Betreibers; eine Sperre ist keine Schwäche und eine Freigabe kein Vorzug.

Warum

Die Anbieter trennen Trainings-Crawler von Such-Crawlern. Eine Sperre für Training wirkt laut Anbieterangaben nicht auf die Aufnahme in deren Suche. Der Überblick zeigt, welche Entscheidung die robots.txt derzeit ausdrückt.

Wie beheben

Wenn Sie Training ausschließen möchten, legen Sie in der robots.txt für die Trainings-Crawler eine eigene Gruppe mit „Disallow: /“ an. Für Google und Apple setzen Sie die Kennungen Google-Extended bzw. Applebot-Extended. Möchten Sie Training zulassen, ist keine Angabe nötig.

Nebenwirkung: Die Crawler-Liste ändert sich; neue Kennungen erfasst eine Sperre erst, wenn Sie sie ergänzen. Sperren Sie nicht versehentlich Such-Crawler (z. B. Applebot statt Applebot-Extended), sonst fehlt die Seite auch in der jeweiligen Suche.

WordPress: Einige Plugins bieten Schalter für KI-Crawler an. Prüfen Sie danach die ausgelieferte robots.txt, ob nur Trainings-Kennungen betroffen sind.

Codebeispiel

robots.txt: Training ausschließen, Suche unberührt

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Weiterführende Quellen

• https://developers.openai.com/api/docs/bots
• https://support.claude.com/en/articles/8896518
• https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
• https://support.apple.com/en-us/119829
• https://www.rfc-editor.org/rfc/rfc9309.html