Crawl Budget

Bevor wir zum Crawl Budget von Google kommen, soll zunächst erklärt werden, was man unter dem Begriff „Crawling“ versteht. Simpel ausgedrückt, bedeutet Crawling nichts anderes als „dem Pfad folgen“. Suchmaschinenbots (sogenannte Crawler) besuchen Websites, „krabbeln“ sich entlang der Verlinkungen und Verweise von Webpage zu Webpage, um deren Inhalte aufzurufen und auszulesen.

Die Crawler lesen hierbei den Quellcode der Website und registrieren Webinhalte in den Indexen der Suchmaschinen. Anhand von verschiedenen Kriterien bewerten die Suchmaschinen die indexierten Inhalte und ermitteln die Relevanz der Website für die jeweiligen Suchanfragen (Keywords).

Bei Crawling wird zwischen Fresh Crawling und Deep Crawling unterschieden, die je unterschiedliche Funktionen für die Indexierung von Webseiten besitzen.

Das Fresh Crawling dient zur erstmaligen Erfassung von neuen Websites. Dabei wird geprüft, ob die IP-Adressen der gecrawlten Websites in den Suchmaschinenindexen bereits gelistet sind. Sollte dies nicht der Fall sein, führt der Crawler einen Fresh Crawl durch. Der Crawler scannt dabei die Websites nur oberflächlich, wodurch das Auslesen der Websites nur sehr schlicht und undetailliert ist. Die Aufgabe des Fresh Crawls ist es täglich das Internet nach neuen, relevanten Inhalten zu durchsuchen, um diese schnellstmöglich zu indexieren.

Von Deep Crawling spricht man, wenn Websites intensiv und sehr präzise untersucht werden. Während der Fresh Crawl für die Neuregistrierung von Websites in den Indexen verantwortlich ist, führt das Deep Crawling die Tiefen-Indexierung der Websites durch. Hier werden die unterschiedlichen Ebenen der Websites nach Verweisen und Verlinkungen (die sogenannten Deep Links) abgesucht. Über diese Deep Links „krabbelt“ der Crawler von Unterseite zu Unterseite, bis er einen vollständigen Überblick über die Website erhalten hat oder die Website kein Crawl Budget mehr besitzt.

Dabei kann der Crawler tief in die Strukturen der Website eindringen, um auch sehr tief liegende Unterseiten zu analysieren und als eigenständige Webpages zu indexieren. Dieser Vorgang kann mehrere Stunden oder sogar mehrere Tage in Anspruch nehmen, je nachdem wie komplex und umfangreich die Website aufgebaut ist.

Bei der endlosen Fülle an Webseiten, die im Internet existieren, ist es für den Crawler jedoch nicht möglich, jede Website vollständig zu crawlen, da die Suchmaschinen (wie z. B. Google) nicht über unbegrenzte Ressourcen verfügen. Hier kommt das Crawl Budget ins Spiel. Als Crawl Budget bezeichnet man das maximale Zeitlimit, den der Crawler zur Untersuchung einer Website zu Verfügung gestellt bekommt. Die Größe des Crawl Budgets wird von den Suchmaschinen festgelegt und ist abhängig vom PageRank der Website.

Kurzer Hinweis: Der PageRank ist ein Google-Algorithmus und erhielt seinen Namen von seinem Entwickler Larry Page (Google Gründer). Dieser erfasst nicht den Rang, die eine Website in den Suchergebnissen besitzt, sondern bewertet lediglich die Struktur der Verlinkungen auf der Website. Das Grundprinzip: Je mehr hochwertige Verlinkungen auf eine Website verweisen, desto höher ist der PageRank dieser Website.

Das Crawl Budget wird aus zwei Elementen zusammengesetzt, dem Crawl-Bedarf und die Crawl-Rate:

• Crawl-Bedarf umfasst:
  • Die Popularität von Websites: Beliebte Websites werden tendenziell häufiger gecrawlt und erhalten somit einen höheren Bedarf.
  • Die Aktualität der Website: Veraltet URLs wirken sich negativ aus, da Google immer versucht den Index aktuell zu halten.
• Crawl-Rate wird beeinflusst durch:
  • Die Leistung der Website: Die Reaktionszeit der Website ist für Bewertung des Crawl-Rates entscheidend. Eine schnelle Reaktionszeit erhöht das Limit des Crawl-Rates, eine langsame Reaktionszeit reduziert hingegen das Limit.
  • Optionales Limit durch Google Search Console: Webmaster können (optional) ein Limit für die Crawl-Rate angeben, falls durch das Crawling Probleme für die Website entstehen.

In Jahr 2017, veröffentlichte Gary Illyes (ehemaliger Google Webmaster Trend Analyst) einen Blogpost, der erklärt, welche Faktoren sich negative auf das Crawl Budget auswirken:

• Soft Errors Seiten: Darunter versteht man alle Webpages und URLs, die keinen 404-Fehler zurückgeben, den gewünschten Inhalt nicht aufrufen und den Statuscode 200 zurückgeben.
• Gehackte Webseiten: Websites, die gehackt wurden und für Besucher*innen schädlich sein könnten, sind in den Suchergebnisseiten (SERPs) unerwünscht und erhalten nur sehr begrenzte Crawl Budgets.
• Infinite Spaces und Proxys: Fehlerhafte Plug-ins, die z. B. endlose URLs erzeugen und somit keinen Mehrwert bieten, führen zur Reduzierung des Budgets.
• Duplicate Content: Google möchte keine Ressourcen für die Indexierung von Website mit gleichem Content verschwenden.
• SPAM oder Thin-Content: Google hat kein Interesse, SPAM oder qualitativ minderwertige Inhalte zu indexieren. Diese Inhalte beeinflussen das Crawl Budget negativ.
• Facettensuche: Bei Filtervorgängen, z. B. beim Filtern auf Onlineshops, entstehen verschiedene Kombinationen von URLs, die im SEO klar definiert werden müssen, ansonsten deklariert Google dies als Duplicate Content.

Aus diesen Faktoren lassen sich Maßnahmen zur Optimierung des Crawl Budget Ihrer Website ableiten:

• Duplicate Content entfernen:
  Webpages mit doppelten Inhalten verschwenden nur die Ressourcen des Crawlers und wirken sich so negativ auf das Crawl Budget Ihrer Website aus.
  Daher empfiehlt es sich, auf doppelte und kopierte Inhalte zu verzichten.
• Flache Architektur der Website einrichten:
  Durch eine flache Struktur Ihrer Website, helfen Sie nicht nur Ihren Besucher*innen schneller ans Ziel zu kommen, sondern helfen dem Crawler auch dabei Ihre Website effizienter zu crawlen.
• Interne Verlinkung auf Ihrer Website optimieren:
  Crawler krabbeln entlang von internen Verlinkungen durch Ihre Website. Mit sinnvollen internen Verlinkungen können Sie den Crawler steuern und ihn aufzeigen, welche Webpages besonders relevant sind.
• Defekte Links reparieren:
  404- und 410-Fehlerseiten wirken sich negativ auf die Usability und User-Experience der Website aus und behindern den Crawler bei seiner Arbeit. Es ist deswegen ratsam, diese Links zu entfernen oder mit sinnvollen Weiterleitungen zu umgehen.
• Unwichtige Inhalte vom Crawling sperren:
  Mithilfe der Robots.txt-Datei können Sie unwichtige Inhalte von Crawling ausschließen und helfen somit dem Crawler relevante Inhalte schneller zu finden.
• XML-Sitemap sinnvoll einreichen und bereitstellen:
  Mit der Bereitstellung einer XML-Sitemap helfen Sie dem Crawler einen Überblick über Ihre Website zu verschaffen. Listen Sie hierbei die wichtigsten und relevantesten Webpages auf. Dadurch wird das Crawling beschleunigt und der Crawler erhält somit die Möglichkeit mehr Inhalte zu indexieren.

Das Crawl Budget ist für die Indexierung von Websites unverzichtbar und gehört zu den wichtigsten Faktoren in der technischen Suchmaschinenoptimierung (SEO). Die Verwaltung und Optimierung Ihres Crawl Budgets ist kein Hexenwerk. Mit wenigen Handkniffen können Sie dem Crawler helfen, Ihre Website effizienter zu indexieren. Dadurch erhalten Sie die Möglichkeit, die Sichtbarkeit Ihrer Website im Netz zu steigern und somit den langfristigen Erfolg Ihrer Website zu sichern.

Sie möchten das Crawl Budget für Ihre Website optimieren, um Ihre Webpräsenz im Internet langfristig zu steigern und suchen nach Hilfe und Expertisen zur Handhabung? Senden Sie uns einfach eine unverbindliche Anfrage und unsere erfahrenen SEO-Experten stehen Ihnen gerne zur Seite!