Google aktualisiert Crawl-Budget-Doku mit konservativer Voreinstellung

Google hat seine Dokumentation zum Crawl-Budget überarbeitet, und die Änderung, die für große Websites am meisten zählt, steht jetzt klar da: Jede Website startet mit demselben konservativen Crawl-Limit, und Google hebt es nur an, wenn der Bedarf da ist und die Website gesund bleibt. Die aktualisierte Seite stellt außerdem klar, dass sich dieses Limit alle Crawler von Google teilen, sodass ein einzelner gieriger Crawler den anderen weniger Kapazität übrig lassen kann.

Was passiert ist

Google hat seine Seite “Crawling-Budget optimieren” am 22. Juli 2026 aktualisiert. Die überarbeitete Dokumentation sagt jetzt: “Jede Website startet mit demselben standardmäßigen, konservativen Crawl-Kapazitätslimit. Wenn Bedarf besteht, mehr zu crawlen, und die Website gesund bleibt, passen die Systeme von Google dieses Limit mit der Zeit automatisch an.”

Sie stellt außerdem klar, wie dieses Budget aufgeteilt wird. Laut der Seite gilt: “Zwar hat jeder Crawler einen anderen Crawl-Bedarf, doch das Crawl-Kapazitätslimit teilen sich alle Crawler. Das bedeutet, dass hohe Nachfrage eines Crawlers die für andere verfügbare Kapazität verringern kann.” Googlebot, AdsBot und der Google-Shopping-Crawler schöpfen alle aus demselben Topf, und Google merkt an, dass der Bedarf von AdsBot und Shopping steigt, wenn eine Website dynamische Anzeigenziele nutzt oder Produkte in ihren Merchant-Feeds hat.

Google wiederholt, wen das betrifft. Die eigene Anleitung beschränkt das Thema auf “große Websites (mehr als 1 Million einzelne Seiten) mit Inhalten, die sich mäßig oft ändern” und “mittlere oder größere Websites (mehr als 10.000 einzelne Seiten) mit sehr schnell wechselnden Inhalten”. Kleinere Websites, so Google, werden ohnehin bereits effizient gecrawlt. Das Update legt zudem mehr Gewicht auf die Server-Gesundheit und empfiehlt schnellere Server-Antwortzeiten sowie die Unterstützung des Statuscodes 304 (Not Modified), damit Google eine zwischengespeicherte Kopie einer unveränderten Seite wiederverwenden kann.

Warum das wichtig ist

Das Crawl-Budget entscheidet darüber, wie schnell Google neue Seiten entdeckt und bestehende aktualisiert. Für eine Marke mit tausenden Standortseiten, einer Filialsuche und einem Produktkatalog auf einer Domain ist dieses Tempo der Unterschied zwischen einem neuen Standort, der schon am Eröffnungstag korrekte Öffnungszeiten zeigt, und einem, der eine Woche hinterherhinkt. Ein konservativer Startpunkt plus geteilte Kapazität bedeutet: Das Crawl-Budget ist eine Ressource, die man steuern muss, kein Anrecht. Eine Website, die es an doppelten oder langsamen Seiten verschwendet, hat weniger davon für die Seiten übrig, die Umsatz bringen.

Was das für Unternehmen mit mehreren Standorten bedeutet

Für ein zentrales Marketing- oder Web-Team lautet die Aufgabe, kein Crawl-Budget mehr für Seiten auszugeben, die es nicht brauchen, und die zu beschleunigen, die es brauchen. Das heißt: Standort- und Produktdaten an der Quelle sauber halten, damit Seiten nicht zwischen Versionen hin- und herspringen; dünne und doppelte URLs (Filter-Facetten, Tracking-Parameter, fast leere Standort-Stubs) zusammenführen oder abschalten; und dafür sorgen, dass der Server schnell antwortet und 304 zurückgibt, wenn sich nichts geändert hat. Konsistente, gut strukturierte lokale Einträge und eine sauber indexierte Filialsuche sind es, die Googlebot sein begrenztes Budget für die Seiten ausgeben lassen, die konvertieren. Behandeln Sie das als Enterprise-SEO-Governance-Aufgabe über den gesamten Bestand hinweg, nicht als Fix Seite für Seite.

Every site starts with the same default, conservative crawl capacity limit. If there is demand to crawl more and the site remains healthy, Google’s systems will automatically adjust this limit over time.

Google for Developers

Fazit

Google hat die Regeln jetzt schriftlich festgehalten: Budgets starten klein, wachsen mit nachgewiesenem Bedarf und werden über jeden Crawler geteilt, der auf Ihre Domain trifft. Für große Websites mit vielen Standorten ist der beste Schritt unspektakulär: schnellere Server, sauberere URLs und korrekte Daten an der Quelle, damit die Seiten, auf die es ankommt, zuerst gecrawlt werden.