Was eine XML-Sitemap ist
Eine XML-Sitemap ist eine Datei, in der Sie Adressen Ihrer Website für Suchmaschinen auflisten. Sie hilft Google, Seiten zu finden und zu verarbeiten, die sonst schwer zu entdecken sind. Semrush beschreibt die Sitemap als Hilfe für das Crawling und die Indexierung. In der Suchmaschinenoptimierung (SEO) gehört die Sitemap zur technischen Grundlage.
Google nutzt Sitemaps seit 2005, nach einer Angabe von Semrush. Die Datei ist keine Garantie für die Aufnahme in den Index. Sie ist ein Hinweis, welche Seiten Ihnen wichtig sind.
Wann eine Sitemap besonders nützlich ist
Eine Sitemap hilft vor allem bei großen Websites, bei neuen Websites mit wenigen Verweisen und bei Seiten, die tief in der Struktur liegen. Die herangezogenen Quellen nennen diese Fälle. Bei einer kleinen, gut verlinkten Website ist der Nutzen geringer.
Grenzen einer Sitemap
Google gibt klare Grenzen vor. Laut Google darf eine einzelne Sitemap höchstens 50 MB unkomprimiert oder 50.000 URLs enthalten. Größere Bestände teilen Sie auf mehrere Sitemaps auf und verweisen auf sie mit einer Sitemap-Index-Datei.
Semrush nennt in einer Mindestanforderung, dass eine Sitemap nur kanonische URLs mit dem Statuscode 200 enthalten sollte. Die dort genannte Obergrenze von 200.000 URLs widerspricht den Google-Angaben. Richten Sie sich deshalb nach Google.
Die Sitemap anlegen
Viele Content-Management-Systeme erzeugen eine Sitemap automatisch. Prüfen Sie zuerst, ob Ihr System das kann, bevor Sie manuell arbeiten. Google beschreibt drei Wege: das CMS erstellen lassen, die Datei von Hand schreiben oder ein Werkzeug nutzen, das sie automatisch erzeugt.
Achten Sie beim Anlegen auf drei Punkte. Die Datei enthält nur Adressen, die Sie indexiert haben wollen. Jede Adresse ist die bevorzugte Version. Laut Semrush antworten die Adressen mit dem Statuscode 200.
Der Eintrag in der robots.txt
Google beschreibt, dass Sie an einer beliebigen Stelle der robots.txt eine Zeile mit der Sitemap-Adresse einfügen. Die Zeile beginnt mit dem Wort Sitemap und enthält die vollständige Adresse. Mehrere Sitemaps sind erlaubt.
Die robots.txt wirkt nur auf das Crawling. Sie entfernt Seiten nicht aus dem Index und ist kein Mittel, um Duplikate zu kanonisieren. Google rät ausdrücklich davon ab, die robots.txt für die Kanonisierung zu verwenden.
Was die robots.txt nicht leisten kann
Eine Seite, die Sie in der robots.txt sperren, kann Google nicht lesen. Wenn dieselbe Seite in der Sitemap steht, schicken Sie widersprüchliche Signale. Entscheiden Sie deshalb für jede Seite eindeutig, ob sie gecrawlt werden soll.
Blockieren Sie nur Bereiche, die Google nicht braucht, etwa interne Suchergebnisse oder technische Pfade. Ein Ratgeber rät außerdem, Warenkorb und Kasse nicht in die Sitemap zu nehmen, weil sie keine Einstiegsseiten sind.
Typische Fehler
Seiten in der Sitemap, die gesperrt sind
Das ist der häufigste Widerspruch. Prüfen Sie nach jeder Änderung, ob die Adressen der Sitemap in der robots.txt erlaubt sind.
Fehlerhafte Statuscodes
Eine Sitemap mit Adressen, die Weiterleitungen oder Fehler liefern, verschwendet das Crawl-Budget. Semrush nennt HTTP-Fehler als eigene Fehlerquelle, neben leeren Sitemaps und falschen Namensräumen.
Eine falsche Struktur
Eine Sitemap, die nicht dem Format entspricht, wird nicht verarbeitet. Prüfen Sie die Datei nach dem Erstellen im Browser und in der Search Console.
Einreichen und prüfen
Reichen Sie die Sitemap in der Google Search Console ein. Semrush beschreibt diesen Weg ausführlich. Der Bericht zeigt danach, wie viele Adressen Google gefunden und wie viele es indexiert hat.
Prüfen Sie die robots.txt nach jeder Änderung direkt im Browser. Schauen Sie, ob die Sitemap-Zeile korrekt steht und ob die wichtigen Bereiche erlaubt sind.
Information-Gain: Die Prüftabelle
Die Tabelle fasst die Prüfungen zusammen. Gehen Sie sie nach jeder Änderung an der Sitemap oder der robots.txt durch.
| Datei | Prüfung | Erwartetes Ergebnis |
|---|---|---|
| Sitemap | Enthält nur indexierbare Adressen | Keine gesperrten, weitergeleiteten oder fehlerhaften Adressen |
| Sitemap | Größe und Anzahl | Höchstens 50 MB und 50.000 URLs je Datei |
| robots.txt | Sitemap-Zeile vorhanden | Vollständige Adresse der Sitemap steht in einer Zeile |
| robots.txt | Keine Sperre für Sitemap-Adressen | Seiten aus der Sitemap sind nicht gesperrt |
| Search Console | Sitemap eingereicht | Der Bericht zeigt keine Fehler |
Die Tabelle ist eine Prüfvorlage. Sie enthält keine Messwerte.
Weiterführende Beiträge
Wie Sie die technische Grundlage Ihrer Website prüfen, zeigt die technische SEO-Checkliste.
Seiten, die trotz Sitemap nicht im Index landen, erklärt der Beitrag Seiten nicht indexiert.
Doppelte Adressen in der Sitemap führen zur Keyword-Kannibalisierung. Die Lösung beschreibt der Beitrag dazu.
Eine Übersicht zur technischen Arbeit finden Sie auf Technisches SEO. Eine Gesamtprüfung liefert der SEO-Audit.