Regeln für nutzerausgelöste Abrufe

Was geprüft

Ausgewertet wird die robots.txt für den Pfad der geprüften Seite; aufgelistet wird, welche Kennungen für nutzerausgelöste Abrufe gesperrt sind (z. B. ChatGPT-User, Claude-User, Perplexity-User, Google-Agent). Gemeint sind Abrufe, die ein Mensch in einem KI-Dienst anstößt, etwa „fasse diese Seite zusammen“.

Wie relevant

Nur Information, ohne Wertung. Die Anbieter schreiben, dass nutzerausgelöste Abrufe die robots.txt nicht immer befolgen; eine Wertung wäre daher keine belastbare Aussage.

Warum

Nutzerausgelöste Abrufe sind keine Crawler im engeren Sinn: Sie holen eine einzelne Seite im Auftrag eines Menschen. Eine Sperre in der robots.txt wirkt hier nicht zuverlässig. Der Überblick zeigt, was die Datei ausdrückt, nicht, was tatsächlich geschieht.

Wie beheben

Eine Änderung ist nur nötig, wenn Sie eine bestimmte Haltung ausdrücken möchten. Wer solche Abrufe tatsächlich unterbinden will, braucht Regeln auf Server- oder CDN-Ebene; die robots.txt allein genügt dafür nicht.

Nebenwirkung: Server- oder CDN-Sperren nach User-Agent treffen auch Abrufe, die Besucher bewusst angestoßen haben, und lassen sich mit gefälschten Kennungen umgehen. Prüfen Sie solche Regeln vorher im Protokollmodus des CDN.

Codebeispiel

robots.txt: Haltung für nutzerausgelöste Abrufe ausdrücken

# Wirkt laut Anbietern nicht zuverlässig
User-agent: ChatGPT-User
User-agent: Perplexity-User
Disallow: /intern/

Weiterführende Quellen

Quellen der Methodik

docs/SCORING.md — Status und Schweregrade (§2), Kategoriescore und Abdeckung (§3), Gesamtwert (§4), keine Doppelabzüge (§5), Prüfkatalog mit Gewichten (§6), Versionierung (§8), Formulierungsregeln (§9), bewusst nicht geprüft (§10)
docs/KALIBRIERUNG.md — Abgleich der Schwerefaktoren und Kappen mit externen Ankern (Web Almanac, Lighthouse, MDN HTTP Observatory, SSL Labs), Entscheidung scoring@1.4.0