Direkt zum Inhalt
  • Crawl Budget

Crawl Budget

In unserer heutigen Zeit ist es normaler Konsens, dass Unternehmen und Geschäftsleute ihre Präsenz im Internet aufbauen, um ein weites Spektrum an Personen zu erreichen. Die Website ist hierbei das Frontgesicht und die Schnittstelle zwischen Produzenten und Rezipienten. Ein gutes Erscheinungsbild und ein hohes Ranking der Website in den Suchergebnissen ist für den Erfolg der Website unerlässlich.

In unserem Beitrag S wie … SEO-Experten haben wir Sie bereits in die Thematik der Suchmaschinenoptimierung eingeführt und Ihnen die Wichtigkeit des SEO für Ihren Erfolg im Netz aufgezeigt.

Dieser Beitrag soll Ihr Wissen weiter vertiefen, damit Sie ein genaueres Verständnis erhalten, welchen Stellenwert das Crawl Budget für die Analyse Ihrer Website besitzt und wie Sie mit den richtigen Online-Marketing-Maßnahmen Ihre Webpräsenz verbessern können.

Was versteht man unter dem Begriff „Crawling“?

Bevor wir zum Crawl Budget von Google kommen, soll zunächst erklärt werden, was man unter dem Begriff „Crawling“ versteht. Simpel ausgedrückt, bedeutet Crawling nichts anderes als „dem Pfad folgen“. Suchmaschinenbots (sogenannte Crawler) besuchen Websites, „krabbeln“ sich entlang der Verlinkungen und Verweise von Webpage zu Webpage, um deren Inhalte aufzurufen und auszulesen.

Die Crawler lesen hierbei den Quellcode der Website und registrieren Webinhalte in den Indexen der Suchmaschinen. Anhand von verschiedenen Kriterien bewerten die Suchmaschinen die indexierten Inhalte und ermitteln die Relevanz der Website für die jeweiligen Suchanfragen (Keywords).

Fresh Crawling vs. Deep Crawling

Bei Crawling wird zwischen Fresh Crawling und Deep Crawling unterschieden, die je unterschiedliche Funktionen für die Indexierung von Webseiten besitzen.

Das Fresh Crawling dient zur erstmaligen Erfassung von neuen Websites. Dabei wird geprüft, ob die IP-Adressen der gecrawlten Websites in den Suchmaschinenindexen bereits gelistet sind. Sollte dies nicht der Fall sein, führt der Crawler einen Fresh Crawl durch. Der Crawler scannt dabei die Websites nur oberflächlich, wodurch das Auslesen der Websites nur sehr schlicht und undetailliert ist. Die Aufgabe des Fresh Crawls ist es täglich das Internet nach neuen, relevanten Inhalten zu durchsuchen, um diese schnellstmöglich zu indexieren.

Von Deep Crawling spricht man, wenn Websites intensiv und sehr präzise untersucht werden. Während der Fresh Crawl für die Neuregistrierung von Websites in den Indexen verantwortlich ist, führt das Deep Crawling die Tiefen-Indexierung der Websites durch. Hier werden die unterschiedlichen Ebenen der Websites nach Verweisen und Verlinkungen (die sogenannten Deep Links) abgesucht. Über diese Deep Links „krabbelt“ der Crawler von Unterseite zu Unterseite, bis er einen vollständigen Überblick über die Website erhalten hat oder die Website kein Crawl Budget mehr besitzt.

Ein Kurzes Beispiel

Der Blogbeitrag kartinka.de/marketing-abc/p-wie-persona ist eine Unterseite der kartinka.de-Webseite. Dieser Beitrag besitzt weitere Verweise zu anderen Beiträgen wie I wie … Ideenfindung oder Z wie … Zielgruppe. Diese Verweise stellen die Deep Links dar, auf denen der Crawler sich fortbewegt. Auf diese Weise krabbelt der Crawler von Webpage zu Webpage und gewinnt so einen Überblick über die interne Struktur der Website.

Dabei kann der Crawler tief in die Strukturen der Website eindringen, um auch sehr tief liegende Unterseiten zu analysieren und als eigenständige Webpages zu indexieren. Dieser Vorgang kann mehrere Stunden oder sogar mehrere Tage in Anspruch nehmen, je nachdem wie komplex und umfangreich die Website aufgebaut ist.

Crawl Budget – was genau ist das?

Bei der endlosen Fülle an Webseiten, die im Internet existieren, ist es für den Crawler jedoch nicht möglich, jede Website vollständig zu crawlen, da die Suchmaschinen (wie z. B. Google) nicht über unbegrenzte Ressourcen verfügen. Hier kommt das Crawl Budget ins Spiel. Als Crawl Budget bezeichnet man das maximale Zeitlimit, den der Crawler zur Untersuchung einer Website zu Verfügung gestellt bekommt. Die Größe des Crawl Budgets wird von den Suchmaschinen festgelegt und ist abhängig vom PageRank der Website.

Kurzer Hinweis: Der PageRank ist ein Google-Algorithmus und erhielt seinen Namen von seinem Entwickler Larry Page (Google Gründer). Dieser erfasst nicht den Rang, die eine Website in den Suchergebnissen besitzt, sondern bewertet lediglich die Struktur der Verlinkungen auf der Website. Das Grundprinzip: Je mehr hochwertige Verlinkungen auf eine Website verweisen, desto höher ist der PageRank dieser Website.

Das Crawl Budget wird aus zwei Elementen zusammengesetzt, dem Crawl-Bedarf und die Crawl-Rate:

  • Crawl-Bedarf umfasst:
    • Die Popularität von Websites: Beliebte Websites werden tendenziell häufiger gecrawlt und erhalten somit einen höheren Bedarf.
    • Die Aktualität der Website: Veraltet URLs wirken sich negativ aus, da Google immer versucht den Index aktuell zu halten.
  • Crawl-Rate wird beeinflusst durch:
    • Die Leistung der Website: Die Reaktionszeit der Website ist für Bewertung des Crawl-Rates entscheidend. Eine schnelle Reaktionszeit erhöht das Limit des Crawl-Rates, eine langsame Reaktionszeit reduziert hingegen das Limit.
    • Optionales Limit durch Google Search Console: Webmaster können (optional) ein Limit für die Crawl-Rate angeben, falls durch das Crawling Probleme für die Website entstehen.

Welche Faktoren haben Einfluss auf das Crawl Budget?

In Jahr 2017, veröffentlichte Gary Illyes (ehemaliger Google Webmaster Trend Analyst) einen Blogpost, der erklärt, welche Faktoren sich negative auf das Crawl Budget auswirken:

  • Soft Errors Seiten: Darunter versteht man alle Webpages und URLs, die keinen 404-Fehler zurückgeben, den gewünschten Inhalt nicht aufrufen und den Statuscode 200 zurückgeben.
  • Gehackte Webseiten: Websites, die gehackt wurden und für Besucher*innen schädlich sein könnten, sind in den Suchergebnisseiten (SERPs) unerwünscht und erhalten nur sehr begrenzte Crawl Budgets.
  • Infinite Spaces und Proxys: Fehlerhafte Plug-ins, die z. B. endlose URLs erzeugen und somit keinen Mehrwert bieten, führen zur Reduzierung des Budgets.
  • Duplicate Content: Google möchte keine Ressourcen für die Indexierung von Website mit gleichem Content verschwenden.
  • SPAM oder Thin-Content: Google hat kein Interesse, SPAM oder qualitativ minderwertige Inhalte zu indexieren. Diese Inhalte beeinflussen das Crawl Budget negativ.
  • Facettensuche: Bei Filtervorgängen, z. B. beim Filtern auf Onlineshops, entstehen verschiedene Kombinationen von URLs, die im SEO klar definiert werden müssen, ansonsten deklariert Google dies als Duplicate Content.

Aus diesen Faktoren lassen sich Maßnahmen zur Optimierung des Crawl Budget Ihrer Website ableiten:

  • Duplicate Content entfernen:
    Webpages mit doppelten Inhalten verschwenden nur die Ressourcen des Crawlers und wirken sich so negativ auf das Crawl Budget Ihrer Website aus.
    Daher empfiehlt es sich, auf doppelte und kopierte Inhalte zu verzichten.
  • Flache Architektur der Website einrichten:
    Durch eine flache Struktur Ihrer Website, helfen Sie nicht nur Ihren Besucher*innen schneller ans Ziel zu kommen, sondern helfen dem Crawler auch dabei Ihre Website effizienter zu crawlen.
  • Interne Verlinkung auf Ihrer Website optimieren:
    Crawler krabbeln entlang von internen Verlinkungen durch Ihre Website. Mit sinnvollen internen Verlinkungen können Sie den Crawler steuern und ihn aufzeigen, welche Webpages besonders relevant sind.
  • Defekte Links reparieren:
    404- und 410-Fehlerseiten wirken sich negativ auf die Usability und User-Experience der Website aus und behindern den Crawler bei seiner Arbeit. Es ist deswegen ratsam, diese Links zu entfernen oder mit sinnvollen Weiterleitungen zu umgehen.
  • Unwichtige Inhalte vom Crawling sperren:
    Mithilfe der Robots.txt-Datei können Sie unwichtige Inhalte von Crawling ausschließen und helfen somit dem Crawler relevante Inhalte schneller zu finden.
  • XML-Sitemap sinnvoll einreichen und bereitstellen:
    Mit der Bereitstellung einer XML-Sitemap helfen Sie dem Crawler einen Überblick über Ihre Website zu verschaffen. Listen Sie hierbei die wichtigsten und relevantesten Webpages auf. Dadurch wird das Crawling beschleunigt und der Crawler erhält somit die Möglichkeit mehr Inhalte zu indexieren.

Fazit

Das Crawl Budget ist für die Indexierung von Websites unverzichtbar und gehört zu den wichtigsten Faktoren in der technischen Suchmaschinenoptimierung (SEO). Die Verwaltung und Optimierung Ihres Crawl Budgets ist kein Hexenwerk. Mit wenigen Handkniffen können Sie dem Crawler helfen, Ihre Website effizienter zu indexieren. Dadurch erhalten Sie die Möglichkeit, die Sichtbarkeit Ihrer Website im Netz zu steigern und somit den langfristigen Erfolg Ihrer Website zu sichern.

Sie möchten das Crawl Budget für Ihre Website optimieren, um Ihre Webpräsenz im Internet langfristig zu steigern und suchen nach Hilfe und Expertisen zur Handhabung? Senden Sie uns einfach eine unverbindliche Anfrage und unsere erfahrenen SEO-Experten stehen Ihnen gerne zur Seite!

Die Agentur kartinka wurde von der Kielstein Labore GmbH, ein Produkt der Kielstein Gruppe (mittlerweile bekannt als MED:ON Thüringen GmbH), mit der Kreation einer Marke für das neu gegründete Direktlabor beauftragt.

Die Juettner Orthopädie KG kam bereits mit einer Idee für eine CityToi Campagne zu uns, die die kartinka schließlich in die grafische Tat umsetzten. Dazu wurde noch ein weiteres Motiv gestaltet. Um die Kampagne aber noch runder zu machen, entwarfen wir zwei weitere Motive, deren Eignung auf das Konzept der CityCards abgestimmt werden musste. 

Die Hochschule Schmalkalden hat im Sommer letzten Jahres die Werbeagentur kartinka aus Erfurt für die Gestaltung und Produktion einer Werbekampagne angefragt. Dies geschah im Rahmen des durch den Freistaat Thüringen und aus Mitteln des Europäischen Sozialfonds Plus geförderten Projekts „WORT – Weltoffene Region Thüringens“. 

Kontakt - Sie finden uns mitten in der Altstadt von Erfurt

Gotthardtstraße 21
99084 Erfurt
Telefon

Eine kurze Nachricht senden?

Andreas Jung

Geschäftsführung
Projektsteuerung On- und Offlinemedien
IHK Referent für Onlinemarketing
Andreas Jung

Fenster schließen

Andreas Jung

Andreas Jung

Geschaftsführer

Haben Sie Fragen?

Wir beraten Sie gerne, kostenlos,
unverbindlich und individuell!