Googlebot entmystifiziert: Crawling-Infrastruktur und das 2-MB-Limit im Detail
Google hat in einem offiziellen Blogbeitrag die innere Funktionsweise von Googlebot und der zentralen Crawling-Infrastruktur transparent gemacht. Besonderes Augenmerk liegt dabei auf den Byte-Limits, die bestimmen, wie viel einer Seite tatsächlich gecrawlt, gerendert und indexiert wird. Für SEO-Verantwortliche liefert dieser Einblick wertvolle Hinweise zur technischen Optimierung ihrer Websites.
Kernpunkte
- Googlebot ist kein einzelnes Programm, sondern ein Client innerhalb einer zentralen Google-Crawling-Infrastruktur, die auch von Google Shopping, AdSense und Dutzenden weiteren Diensten genutzt wird.
- Googlebot crawlt pro URL maximal 2 MB HTML-Inhalt inklusive HTTP-Header; alles, was darüber hinausgeht, wird vollständig ignoriert und nicht indexiert.
- Für PDF-Dateien gilt ein separates Limit von 64 MB, während andere Crawler ohne explizite Einstellung standardmäßig bis zu 15 MB abrufen.
- Externe Ressourcen wie JavaScript- und CSS-Dateien haben jeweils ein eigenes Byte-Limit pro URL und zählen nicht zum Budget der übergeordneten HTML-Seite.
- Der Web Rendering Service (WRS) verarbeitet die von Googlebot abgerufenen Bytes zustandslos, löscht also Local Storage und Session-Daten zwischen den Anfragen und kann nur den Code ausführen, der tatsächlich abgerufen wurde.
- Die Reihenfolge der HTML-Elemente ist entscheidend: Meta-Tags, Title, Canonical-Links und strukturierte Daten sollten möglichst weit oben im Dokument stehen, damit sie sicher vor dem 2-MB-Cutoff liegen.
Analyse
Lange Zeit galt die Vorstellung eines einzigen, allumfassenden Googlebots als gegeben. Google stellt nun klar, dass es sich um eine zentrale Infrastruktur handelt, an die unterschiedliche Crawler-Clients angebunden sind. Das hat direkte Auswirkungen auf die Interpretation von Server-Logs: Ein Googlebot-Eintrag repräsentiert ausschließlich den Google-Search-Crawler, nicht aber die anderen Dienste, die jeweils unter eigenen User-Agent-Bezeichnungen auftreten.
Das 2-MB-Limit für HTML ist in der Praxis für die meisten Websites irrelevant, da ein solches Volumen für normalen redaktionellen Content selten erreicht wird. Problematisch wird es jedoch bei technisch aufgeblähten Seiten, etwa solchen mit großen Inline-Base64-Bildern, mehrseitigen Inline-JavaScript-Blöcken oder massiven Navigation-Strukturen zu Beginn des Dokuments. In diesen Fällen kann kritischer Inhalt, strukturierte Daten oder sogar der eigentliche Seitentext jenseits der 2-MB-Grenze liegen und für Googlebot schlicht nicht existieren.
Der Web Rendering Service verarbeitet das abgerufene HTML wie ein moderner Browser: Er führt JavaScript aus, verarbeitet CSS und XHR-Anfragen, ruft jedoch keine Bilder oder Videos ab. Entscheidend ist, dass der WRS ausschließlich auf den Bytes arbeiten kann, die Googlebot tatsächlich heruntergeladen hat. Liegt JavaScript-Code, der für die Seitenstruktur wesentlich ist, nach dem 2-MB-Cutoff, wird er weder ausgeführt noch berücksichtigt. Die zustandslose Arbeitsweise des WRS bedeutet zusätzlich, dass dynamische Elemente, die auf Session- oder Local-Storage-Daten basieren, nicht korrekt interpretiert werden.
Die separate Byte-Zählung für externe Ressourcen ist eine wichtige Information für die technische SEO-Strategie. Wer schwere CSS- und JavaScript-Lasten in externe Dateien auslagert, schützt das HTML-Dokument vor dem Erreichen des 2-MB-Limits und ermöglicht dem Crawler gleichzeitig, jede externe Datei mit einem eigenen Kontingent zu verarbeiten. Dieses Prinzip bestätigt, dass Inline-Ressourcen aus einer Crawling-Perspektive aktiv nachteilig sein können.
Google weist darauf hin, dass das 2-MB-Limit keine unveränderliche Konstante ist, sondern sich mit der Entwicklung des Webs verändern kann. Für SEO-Verantwortliche bedeutet das, diesen Parameter im Blick zu behalten und keine dauerhaft gebauten technischen Lösungen auf einem einzigen Grenzwert aufzubauen. Gleichzeitig mahnt Google zur Effizienz: Langsame Server-Antwortzeiten führen dazu, dass Crawler automatisch die Crawl-Frequenz reduzieren, was sich mittelbar auf die Indexierungsgeschwindigkeit auswirkt.
Was ist zu tun
- Halten Sie die Größe Ihrer HTML-Dokumente konsequent unter 2 MB, indem Sie CSS und JavaScript in externe Dateien auslagern und Inline-Ressourcen wie Base64-kodierte Bilder auf ein Minimum reduzieren.
- Platzieren Sie alle indexierungsrelevanten Elemente (Title, Meta-Tags, Canonical-Links, hreflang-Angaben, strukturierte Daten) so weit oben wie möglich im HTML-Quellcode, um sicherzustellen, dass sie vor dem Byte-Cutoff verarbeitet werden.
- Prüfen Sie Ihre Server-Logs regelmäßig auf auffällige Antwortzeiten und hohe Latenzen, da Google bei überlasteten Servern die Crawl-Frequenz automatisch drosselt.
- Überprüfen Sie mit einem HTTP-Analyse-Werkzeug die tatsächliche Größe Ihrer gerenderten HTML-Antworten, um unbeabsichtigt aufgeblähte Seiten zu identifizieren und gezielt zu bereinigen.
- Vermeiden Sie JavaScript-Abhängigkeiten für kritische Inhalte und Metadaten, wenn der jeweilige Code erst spät im Dokument oder über verzögerte Mechanismen geladen wird, da der WRS nur zustandslos auf den abgerufenen Bytes operiert.
- Differenzieren Sie in Ihrer Crawling-Analyse die unterschiedlichen Google-Crawler-User-Agents (Google Search, Google Shopping, AdSense etc.), um ein genaues Bild der Crawling-Aktivitäten auf Ihrer Website zu erhalten und die Logs korrekt zu interpretieren.
Seiten mit überbordenden Inline-Ressourcen, aufgeblähtem HTML oder kritischen Inhalten am Ende des Dokuments riskieren, dass Googlebot relevante Inhalte und strukturierte Daten schlicht nicht sieht. Eine konsequente Optimierung des HTML-Aufbaus und der Dateigröße ist damit ein direkter Rankingfaktor.