Crawling und Indexierung sind zwei verschiedene Schritte
Viele Betreiber sehen im Bericht eine Zahl nicht indexierter Seiten und wissen nicht, was sie tun sollen. Dieser Ratgeber erklärt die Statusmeldungen der Google-Hilfe Schritt für Schritt. Alle Prüfpunkte einer Website behandelt die technische SEO-Checkliste. Hier geht es um die Frage, welche Meldung Sie haben und was daraus folgt.
Google findet eine Seite, ruft sie ab und entscheidet danach, ob sie in den Index aufgenommen wird. Eine gecrawlte Seite steht also nicht automatisch im Index. Diese Unterscheidung ist wichtig, weil jede Statusmeldung an einer anderen Stelle dieses Weges ansetzt. Für die Suchmaschinenoptimierung (SEO) ist die Indexierung die Voraussetzung: Ohne sie kann keine Seite in der organischen Suche erscheinen.
Wo Sie den Status finden
Im Bericht „Seitenindexierung“ der Search Console sehen Sie alle URLs, die nicht im Index stehen, gruppiert nach Grund. Für eine einzelne URL nutzen Sie die URL-Prüfung. Sie zeigt den Status, den Google zuletzt gespeichert hat, und kann die Seite live testen.
Status für Status: Welche Maßnahme passt?
Die Bezeichnungen unten entsprechen der Google-Hilfe. Sie finden sie im Bericht genauso wieder.
Ausschlüsse, die Sie prüfen und meist beheben sollten
| Status | Bedeutung laut Google | Maßnahme |
|---|---|---|
| „URL als „noindex“ markiert“ | Ein noindex-Tag oder HTTP-Header verhindert die Aufnahme. | Soll die Seite in den Index, entfernen Sie Tag oder Header. Sonst ist nichts zu tun. |
| „URL wird von der robots.txt-Datei blockiert“ | Die robots.txt sperrt das Crawling. | Soll die Seite nicht gecrawlt werden, ist das richtig. Soll sie indexiert werden, passen Sie die Regel an. |
| „Nicht gefunden (404)“ | Die URL liefert einen 404-Fehler. | Bei ersatzlos entfernten Seiten ist das in Ordnung. Bei umgezogenen Seiten richten Sie eine 301-Weiterleitung ein. |
| „Soft 404-Fehler“ | Die Seite zeigt eine „nicht gefunden“-Meldung, sendet aber keinen 404-Code. | Liefern Sie bei fehlenden Seiten einen echten 404-Code aus. Soll die Seite bleiben, ergänzen Sie den Inhalt. |
| „Serverfehler (5xx)“ | Der Server antwortete mit einem 5xx-Fehler. | Beheben Sie die Ursache auf Serverseite. Der Bericht „Crawling-Statistik“ zeigt die Verfügbarkeit. |
| „Weiterleitungsfehler“ | Die Weiterleitungskette ist zu lang, zirkulär oder ungültig. | Führen Sie die Kette auf eine einzige Weiterleitung zusammen. |
Ausschlüsse, bei denen meist nichts zu tun ist
| Status | Bedeutung laut Google | Maßnahme |
|---|---|---|
| „Alternative Seite mit richtigem kanonischen Tag“ | Die Seite verweist korrekt auf die bevorzugte Version. | Keine. |
| „Seite mit Weiterleitung“ | Die URL leitet weiter, das Ziel entscheidet über die Indexierung. | Keine. |
| „Duplikat – vom Nutzer nicht als kanonisch festgelegt“ | Google hat eine andere Seite als Hauptversion gewählt. | Ist das falsch, markieren Sie die gewünschte Version als Canonical. Ist die Seite kein echtes Duplikat, unterscheiden Sie den Inhalt deutlich. |
| „Duplikat – Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt“ | Google übernimmt Ihr Canonical nicht. | Vergleichen Sie in der URL-Prüfung, welche Seite Google gewählt hat, und prüfen Sie die Inhalte. |
Gecrawlt oder gefunden: Geduld und Qualität
- „Gecrawlt – zurzeit nicht indexiert“: Google hat die Seite gesehen und nicht aufgenommen. Laut Google kann sie später noch indexiert werden, und die URL muss nicht erneut eingereicht werden. Ein erneutes Einreichen hilft deshalb nicht. Google nennt keinen Grund. Ratgeber sehen die häufigsten Ursachen in dünnen oder doppelten Inhalten und schwacher interner Verlinkung. Prüfen Sie das, aber rechnen Sie nicht mit einer garantierten Aufnahme.
- „Gefunden – zurzeit nicht indexiert“: Google kennt die URL, hat das Crawling aber verschoben. Laut Google geschieht das, damit die Website nicht überlastet wird. Die Hilfeseite nennt keine konkrete Maßnahme. Stellen Sie sicher, dass die Seite über interne Links erreichbar ist.
Warnungen, die Sie nicht übersehen sollten
- „Indexiert, obwohl durch robots.txt-Datei blockiert“: Die Seite steht im Index, meist wegen Links von außen, und die Snippets sind stark eingeschränkt. Soll sie heraus, entfernen Sie die Sperre und setzen Sie noindex. Soll sie hinein, passen Sie die robots.txt an.
- „Seite ohne Inhalt indexiert“: Google konnte den Inhalt nicht lesen. Prüfen Sie die Seite in der URL-Prüfung, besonders die Darstellung des Inhalts.
In dieser Reihenfolge prüfen Sie
- Meldung und Anzahl klären. Welcher Status ist es, und betrifft er einzelne URLs oder einen ganzen Bereich?
- Absicht festlegen. Soll diese Seite überhaupt im Index stehen? Login-Bereiche, interne Suchergebnisse und Admin-Bereiche sollten in der Regel nicht darin erscheinen.
- Technische Sperren ausschließen. Prüfen Sie noindex, robots.txt und den Statuscode der URL. Enthält Ihre XML-Sitemap die URL? Eine Sitemap soll nur Seiten nennen, die indexiert werden sollen. URLs mit noindex, Weiterleitung oder 404 gehören nicht hinein.
- Duplikate und Canonicals prüfen. Welche Version wählt Google, und stimmt sie mit Ihrer Angabe überein?
- Inhalt und Verlinkung prüfen. Erst wenn die Schritte 1 bis 4 sauber sind, bleibt als Ursache die Qualität. Dann lohnt sich Warten nur in Kombination mit Verbesserungen.
noindex oder robots.txt: Was Sie wann einsetzen
Wenn eine Seite nicht im Index erscheinen soll, nutzen Sie noindex. Eine robots.txt-Sperre verhindert, dass Google das noindex-Tag überhaupt liest. Google empfiehlt deshalb, bei einem Ausschluss aus dem Index die robots.txt-Sperre zu entfernen und stattdessen noindex zu setzen. Die Prüfpunkte dazu stehen in der technischen SEO-Checkliste unter den Punkten 5 bis 8.
Welche Seiten bewusst nicht im Index stehen sollten
Nicht jede Seite gehört in den Index. Dazu zählen Login-Bereiche, interne Suchergebnisse, Admin-Bereiche und Filter-URLs, die dieselben Inhalte mehrfach zeigen. Wenn die Search Console solche Seiten als nicht indexiert meldet, ist das in der Regel gewollt.