Google uppdaterar dokumentationen om crawlbudget med konservativ standard

Google har skrivit om sin dokumentation om crawlbudget, och den förändring som betyder mest för stora webbplatser står nu tydligt: varje webbplats startar på samma konservativa crawlgräns, och Google höjer den bara om behovet finns och webbplatsen förblir frisk. Den uppdaterade sidan klargör också att den här gränsen delas av alla Googles crawlers, så att en enda resurskrävande crawler kan lämna mindre kapacitet kvar åt de andra.

Det här har hänt

Google uppdaterade sin sida “Optimera din crawlbudget” den 22 juli 2026. Den omarbetade dokumentationen säger nu: “Varje webbplats startar med samma standardmässiga, konservativa gräns för crawlkapacitet. Om det finns behov av att crawla mer och webbplatsen förblir frisk justerar Googles system den här gränsen automatiskt över tid.”

Sidan förklarar också hur budgeten fördelas. Enligt Google: “Även om varje crawler har olika crawlbehov delas gränsen för crawlkapacitet av alla crawlers. Det innebär att högt behov från en crawler kan minska den kapacitet som finns kvar för andra.” Googlebot, AdsBot och Google Shopping-crawlern hämtar alla ur samma pott, och Google noterar att behovet från AdsBot och Shopping ökar när en webbplats kör dynamiska annonsmål eller har produkter i sina merchant feeds.

Google upprepar vem som bör bry sig. Vägledningen begränsar ämnet till “stora webbplatser (1 miljon+ unika sidor) med innehåll som ändras måttligt ofta” och “medelstora eller större webbplatser (10 000+ unika sidor) med mycket snabbt föränderligt innehåll”. Mindre webbplatser crawlas i regel redan effektivt, enligt Google. Uppdateringen lägger också mer vikt vid serverns hälsa och rekommenderar snabbare svarstider och stöd för statuskoden 304 (Not Modified), så att Google kan återanvända en cachad kopia av en sida som inte har ändrats.

Varför det spelar roll

Crawlbudgeten avgör hur snabbt Google upptäcker nya sidor och uppdaterar befintliga. För ett företag med tusentals platssidor, en butiksfinder och en produktkatalog på en och samma domän är den hastigheten skillnaden mellan att en ny butik visar rätt öppettider redan invigningsdagen och att den släpar efter en vecka. En konservativ startpunkt plus delad kapacitet betyder att crawlbudgeten är en resurs att styra, inte en rättighet, och en webbplats som slösar den på dubbletter eller långsamma sidor har mindre kvar åt de sidor som ger intäkter.

Vad det betyder för företag med flera platser

För ett centralt marknads- eller webbteam är uppgiften att sluta lägga crawlbudget på sidor som inte behöver den och snabba upp de som gör det. Det betyder att hålla plats- och produktdata rena vid källan så att sidor inte far fram och tillbaka mellan versioner, att slå ihop eller ta bort tunna och dubbla URL:er (facetterade filter, spårningsparametrar, nästan tomma platssidor) och att se till att servern svarar snabbt och returnerar 304 när ingenting har ändrats. Konsekventa, välstrukturerade lokala företagsuppgifter och en korrekt indexerad butiksfinder är det som låter Googlebot lägga sin begränsade budget på de sidor som konverterar. Behandla det som en styrningsuppgift inom enterprise-SEO över hela beståndet, inte som en fix sida för sida.

Every site starts with the same default, conservative crawl capacity limit. If there is demand to crawl more and the site remains healthy, Google’s systems will automatically adjust this limit over time.

Google for Developers

Slutsatsen

Google har nu skrivit ner reglerna: budgetar startar små, växer med bevisat behov och delas mellan varje crawler som når din domän. För stora webbplatser med många platser är det vinnande draget föga glamoröst: snabbare servrar, renare URL:er och korrekta data vid källan, så att de sidor som spelar roll crawlas först.