Crawl Budget
Das Crawl Budget ist die Anzahl an Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitraums bereit ist, auf einer Website zu crawlen.
Kurz erklärt
Suchmaschinen haben begrenzte Ressourcen und verteilen ihre Crawling-Kapazität nach Faktoren wie der wahrgenommenen Wichtigkeit, Aktualisierungshäufigkeit und technischen Performance einer Website. Bei kleinen und mittleren Websites ist Crawl Budget selten ein begrenzender Faktor - relevant wird es vor allem bei sehr großen Websites mit Millionen von URLs, etwa großen Onlineshops oder Marktplätzen.
Beispiel
Ein Onlineshop mit Millionen von Filterkombinationen (?farbe=rot&groesse=m&sortierung=preis) erzeugt faktisch unbegrenzt viele URL-Varianten. Ohne Steuerung verbringt der Crawler einen Großteil seines Budgets mit solchen Variantenseiten statt mit eigentlich wichtigen Produkt- und Kategorieseiten.
Warum ist das relevant?
Ein ineffizient genutztes Crawl Budget kann dazu führen, dass wichtige, neue oder aktualisierte Seiten verzögert oder gar nicht gecrawlt werden. Maßnahmen wie eine saubere robots.txt, konsequente Canonical-Nutzung und der Verzicht auf unnötige URL-Parameter helfen, das Budget auf relevante Inhalte zu konzentrieren.
Häufige Missverständnisse
Für die meisten kleineren Websites mit wenigen tausend Seiten ist Crawl Budget in der Praxis kein limitierender Faktor - Optimierungsbemühungen sollten hier eher in Inhaltsqualität und technische Grundlagen fließen. Crawl Budget zu “verbessern” bedeutet zudem nicht, mehr Seiten crawlen zu lassen, sondern das vorhandene Budget effizienter auf wichtige Inhalte zu lenken.