robots.txt

Was geprüft

Abgerufen wird /robots.txt der Website (höchstens fünf Weiterleitungen). Bewertet werden nach RFC 9309 (Internet-Standard für robots.txt) der Statuscode und die Lesbarkeit: ob statt einer Textdatei eine HTML-Seite kommt und ob die Datei bekannte Anweisungen (User-agent, Allow, Disallow, Sitemap) enthält. Genannt werden Zahl der Gruppen, unbekannte Zeilen, Sitemap-Zeilen und eine Größe über 500 KiB.

Wie relevant

Hoch bei Status 5xx, weil die Website dann nach RFC 9309 als vollständig gesperrt gilt, solange der Fehler besteht. Mittel, wenn unter /robots.txt eine HTML-Seite kommt oder keine einzige bekannte Anweisung vorhanden ist. Eine fehlende robots.txt ist nicht auffällig: Antwortet die Adresse nach höchstens fünf Weiterleitungen mit 4xx oder steht am Ende noch eine Weiterleitung, ist alles erlaubt.

Warum

Suchmaschinen lesen die robots.txt vor jedem Crawl. Ist sie nicht lesbar, wirken gewollte Sperren nicht; antwortet sie mit Serverfehler, stellen Suchmaschinen das Crawlen der Website zeitweise ein. Google liest nur die ersten 500 KiB.

Wie beheben

Liefern Sie unter /robots.txt eine einfache Textdatei mit Status 200 und Content-Type text/plain, oder gar keine Datei (Status 404). Halten Sie die Regeln kurz und nennen Sie die Sitemap mit voller Adresse.

Nebenwirkung: Eine zu weit gefasste Disallow-Regel sperrt ganze Bereiche; „Disallow: /“ sperrt die gesamte Website. Testen Sie Änderungen mit dem robots.txt-Bericht der Google Search Console, bevor Sie sie live stellen.

WordPress: WordPress erzeugt eine virtuelle robots.txt, solange keine echte Datei im Hauptverzeichnis liegt. SEO-Plugins bieten einen Editor dafür; eine physische Datei hat Vorrang und wird von deren Einstellungen nicht verändert. Sicherheits-Plugins oder Wartungsmodi können für /robots.txt eine HTML-Seite ausliefern.

Codebeispiel

robots.txt: einfache Fassung

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.beispiel.de/sitemap.xml

nginx: Content-Type für robots.txt

location = /robots.txt {
    default_type text/plain;
    try_files $uri =404;
}

Apache (.htaccess): robots.txt nicht umschreiben lassen

RewriteEngine On
RewriteRule ^robots\.txt$ - [L]

Weiterführende Quellen

Quellen der Methodik

docs/SCORING.md — Status und Schweregrade (§2), Kategoriescore und Abdeckung (§3), Gesamtwert (§4), keine Doppelabzüge (§5), Prüfkatalog mit Gewichten (§6), Versionierung (§8), Formulierungsregeln (§9), bewusst nicht geprüft (§10)
docs/KALIBRIERUNG.md — Abgleich der Schwerefaktoren und Kappen mit externen Ankern (Web Almanac, Lighthouse, MDN HTTP Observatory, SSL Labs), Entscheidung scoring@1.4.0