Antwort auf KI-User-Agents

Was geprüft

Nicht geprüft. Dafür müsste das Werkzeug die Kennungen fremder Bots vortäuschen. Bot-Schutzsysteme erkennen echte Crawler über veröffentlichte IP-Adressbereiche, deshalb wäre die Antwort auf eine vorgetäuschte Kennung kein belastbarer Beleg.

Wie relevant

Nur Information, ohne Wertung; der Punkt erscheint als „nicht geprüft“ und zählt als Lücke in der Abdeckung, nicht als auffälliger Punkt.

Warum

Ob eine Firewall oder ein CDN echte KI-Crawler abweist, lässt sich von außen nicht sauber messen. Ein vorgetäuschter Abruf würde womöglich abgewiesen, obwohl der echte Crawler durchkommt, oder umgekehrt.

Wie beheben

Prüfen Sie in den Protokollen von Server oder CDN, ob Abrufe der gewünschten Crawler mit Status 200 beantwortet werden. Einige Anbieter veröffentlichen IP-Bereiche, mit denen Sie echte Abrufe erkennen können.

Nebenwirkung: Regeln, die Bots nach User-Agent erlauben, lassen sich mit gefälschten Kennungen ausnutzen. Kombinieren Sie Freigaben, wenn möglich, mit den veröffentlichten IP-Bereichen oder der Bot-Erkennung des CDN.

Codebeispiel

Kein Standardbeispiel.

Weiterführende Quellen

Quellen der Methodik

docs/SCORING.md — Status und Schweregrade (§2), Kategoriescore und Abdeckung (§3), Gesamtwert (§4), keine Doppelabzüge (§5), Prüfkatalog mit Gewichten (§6), Versionierung (§8), Formulierungsregeln (§9), bewusst nicht geprüft (§10)
docs/KALIBRIERUNG.md — Abgleich der Schwerefaktoren und Kappen mit externen Ankern (Web Almanac, Lighthouse, MDN HTTP Observatory, SSL Labs), Entscheidung scoring@1.4.0