Indexierbarkeit (Statuscode, noindex, robots.txt)

Was geprüft

Geprüft werden drei Signale der abgerufenen Endadresse: der HTTP-Statuscode (erwartet 200), ein „noindex“ oder „none“ im Meta-Tag „robots“ bzw. „googlebot“ oder in der HTTP-Kopfzeile X-Robots-Tag, und ob die robots.txt den Pfad für Googlebot sperrt. Die robots.txt wird nach RFC 9309 (Internet-Standard für robots.txt) ausgewertet; Weiterleitungen werden höchstens fünfmal verfolgt. Antwortet sie danach mit 4xx oder steht am Ende noch eine Weiterleitung, gilt sie als nicht vorhanden, und alles ist erlaubt; antwortet sie mit 5xx, gilt die Website als gesperrt. War die robots.txt nicht abrufbar, lautet das Ergebnis „nicht geprüft“.

Wie relevant

Kritisch bei Status ab 400, bei „noindex“ und beim Widerspruch „robots.txt sperrt und noindex“; Hoch bei anderem Status als 200 (z. B. 3xx), bei einer robots.txt-Sperre allein und bei einer robots.txt mit 5xx. Die Prüfung hat das höchste Gewicht der Kategorie, weil eine nicht indexierbare Seite in der Suche nicht erscheint. Bei Status ab 400 werden die übrigen SEO-Seitenprüfungen nicht bewertet, weil die Seite dann nicht die gemeinte ist.

Warum

Suchmaschinen nehmen in der Regel nur Seiten mit Status 200 und ohne „noindex“ in den Index auf. Eine per robots.txt gesperrte Seite wird nicht abgerufen; ein dort gesetztes „noindex“ wird deshalb nicht gelesen, und die Adresse kann ohne Inhalt im Index erscheinen. Ob eine Sperre beabsichtigt ist, kann das Tool nicht wissen.

Wie beheben

Prüfen Sie, ob die Seite in der Suche erscheinen soll. Wenn ja: Statuscode 200 liefern, „noindex“ aus Meta-Tag und X-Robots-Tag entfernen und die passende Disallow-Regel in der robots.txt löschen. Soll die Seite nicht im Index stehen, genügt „noindex“; die robots.txt-Sperre für diese Seite dann aufheben, damit das „noindex“ gelesen werden kann.

Nebenwirkung: Eine Disallow-Regel zu entfernen öffnet auch andere Pfade, die auf dieselbe Regel passen. Testen Sie die geänderte robots.txt vorher mit dem robots.txt-Bericht der Google Search Console und kontrollieren Sie danach die Indexierung mit der URL-Prüfung. Ein „noindex“ auf Staging-Systemen sollte bleiben; achten Sie beim Umzug auf die Produktivumgebung darauf, es nicht mitzukopieren.

WordPress: Unter „Einstellungen → Lesen“ setzt die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“ ein „noindex“ auf allen Seiten; sie bleibt nach einem Umzug von Staging oft aktiv. SEO-Plugins (Yoast SEO, Rank Math, SEOPress) setzen „noindex“ zusätzlich je Seite oder Inhaltstyp.

Codebeispiel

HTML: indexierbar (kein noindex nötig)

<!-- Kein robots-Meta-Tag nötig; Standard ist „index, follow“. Entfernen Sie: -->
<meta name="robots" content="noindex">

robots.txt: Sperre aufheben

User-agent: *
# Disallow: /leistungen/   <- Zeile entfernen, wenn die Seiten in die Suche sollen
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.beispiel.de/sitemap.xml

Apache (.htaccess): X-Robots-Tag nur für PDFs, nicht für Seiten

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

nginx: X-Robots-Tag nur für PDFs

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex" always;
}

Weiterführende Quellen

Quellen der Methodik

docs/SCORING.md — Status und Schweregrade (§2), Kategoriescore und Abdeckung (§3), Gesamtwert (§4), keine Doppelabzüge (§5), Prüfkatalog mit Gewichten (§6), Versionierung (§8), Formulierungsregeln (§9), bewusst nicht geprüft (§10)
docs/KALIBRIERUNG.md — Abgleich der Schwerefaktoren und Kappen mit externen Ankern (Web Almanac, Lighthouse, MDN HTTP Observatory, SSL Labs), Entscheidung scoring@1.4.0