Crawl Budget - Definition, Infos und haufenweise Tipps

Für wen ist das Crawl Budget interessant?

Als SEO sollte man daran interessiert sein den Suchmaschinen ihren Job so einfach wie möglich zu machen. Je besser sie Informationen über die eigene Website oder die der Kunden sammeln können, desto besser werden diese in den Suchergebnissen zu finden sein. 

Von daher sollte sich jeder in der Branche für Crawl Budget Optimization interessieren. 

Wer überwiegend kleine Websites mit bis zu 1.000 URLs kümmert, die eine gewisse Relevanz haben, kann darauf vertrauen, dass Google sie alle crawlen wird. 

Große Portale und vor allem E-Commerce Projekte bestehen allerdings häufig aus tausenden URLs, die im Regelfall nicht alle gecrawlt werden. 

Wer hier den Crawl Bedarf außer Acht lässt, begeht einen großen Fehler.

Je größer das Projekt, desto wichtiger wird eine Beachtung und Optimierung des Crawl Budgets.

Da zu Beginn in der Regel nicht absehbar ist, wie groß eine Website in Zukunft wird, sollte allerdings von Anfang an darauf geachtet werden, dass sie gut gecrawlt werden kann und die wichtigsten Unterseiten mit Priorität behandelt werden. 

So kann man das derzeitige Crawl Budget ermitteln

Wer wissen will, wie es um das momentane Crawl Budget und das der Vergangenheit aussieht, dem sei ein Blick in die Google Search Console ans Herz gelegt. 

Unter Einstellungen -> Crawling-Statistiken oder unter folgendem Link findet man, wie viele Crawl-Anfragen von Google gestellt wurden und ob es hier zu irgendwelchen Fehlern gekommen ist.

https://search.google.com/search-console/settings/crawl-stats

Angegeben werden drei Werte:

1. Crawling-Anfragen insgesamt
2. Downloadgröße insgesamt
3. Durchschnittliche Reaktionszeit

Im Idealfall ist der erste Wert möglichst hoch und die beiden anderen Werte möglichst niedrig.

Crawl Budget Optimization – das Maximum herausholen

Dein Crawl Budget ist begrenzt und das wird es auch immer bleiben. Aus diesem Grund ist es wichtig, dass es optimal genutzt wird um das bestmögliche Ergebnis zu erzielen. Dabei geht es vor allem darum, dass deine SEO-relevanten URLs regelmäßig gecrawlt werden und das Budget nicht für irrelevante URLs verschwendet wird. 

Die meisten SEOs haben deutlich mehr URLs auf der Website, als sie anfänglich annehmen. Das liegt vor allem daran, dass dazu nicht nur bewusst verfasste Inhalte, sondern vieles mehr gehört. 

Tipp 1: Entscheiden was wichtig ist

Zunächst musst du wissen, welche URLs dir wichtig sind. Erstelle eine Liste mit allen Seiten, die gut optimiert sind und dessen Inhalt Google lieben wird. Nur wenn du weißt was dir wichtig ist wirst du entscheiden können, was nicht wichtig ist.

Dabei solltest du vor allem danach gehen, welche Unterseiten Traffic bekommen, oder in Zukunft organischen Traffic bekommen sollten. 

Typischerweise sind das Landingpages, Blogbeiträge, Kategorieseiten, die Startseite und alle Inhalte, für die du im Vorfeld eine Keyword Recherche betrieben hast. 

Tipp 2: Stelle sicher, dass alle wichtigen Inhalte crawlbar sind

Wenn du möchtest, dass beispielsweise deine Blogbeiträge gecrawlt werden, musst du auch sicherstellen, dass das technisch möglich ist. Überprüfe, dass kein noindex oder nofollow tag, die robot.txt, die .htaccess oder andere Faktoren das verhindern. 

Tipp 3: Die Sitemap optimieren

Die Sitemap ist eine Hilfestellung für Crawler und listet wichtige Inhalte mit Link auf. Früher musste sie noch manuell erstellt werden und ihr kam eine große Bedeutung zu. Mittlerweile erstellen moderne CMS sie automatisch und sie ist in Vergessenheit geraten. 

Wächst das Projekt, ist die Sitemap jedoch meist viel zu groß geworden.

Aus diesem Grund lohnt es sich sie anzuschauen und zu überprüfen. 

Bei großen Websites mit über 1.000 URLs sollte man daran arbeiten in einem ersten Schritt nur die wichtigen URLs hier aufzulisten. 

Keine Angst – das bedeutet nicht, dass die restlichen URLs nicht mehr gecrawlt werden. Der Google Crawler wird lediglich mit den für dich wichtigen und SEO-relevanten Inhalten beginnen. 

Die Sitemap bietet dir zudem die Möglichkeit die einzelnen Unterseiten mit einer Prioritätsstufe von 0 bis 1 zu versehen. Google hat jedoch offiziell bekanntgegeben, dass der Crawler diese nicht berücksichtigt. 

“Google erwartet in allen Formaten das Standard-Sitemap-Protokoll. Das Attribut wird in Sitemaps momentan nicht verarbeitet.”

Quelle: https://developers.google.com/search/docs/advanced/sitemaps/build-sitemap

Tipp 4: Unwichtige URLs mit noindex und nofollow versehen

Für den Betrieb einer Website sind oft einige Unterseiten notwendig, die nicht gecrawlt werden sollten. Darunter fallen beispielsweise Dankesseiten, Nutzerkonten, interne Bereiche, Formulare und vieles mehr. 

Diese sollten mit folgendem Code imversehen werden: 

Damit teilst du dem Google Crawler (googlebot) mit, dass die betreffende URL nicht indexiert und die enthaltenen Links nicht verfolgt werden sollen. Er bricht daraufhin das Crawling ab und widmet sich sofort anderen Unterseiten. 

Dein Crawl Budget wird dadurch geschont.

Tipp 5: Doppelten Content vermeiden

Niemand stellt Inhalte doppelt auf die eigene Website. Trotzdem gibt es auf den meisten Seiten doppelte Inhalte (duplicate content). Häufig werden sie durch CMS wie WordPress generiert. 

Durch Tags, Pagination, dynamische URLs und erzeugte Kategorien sind Inhalte unter vielen verschiedenen Links zu finden, was Crawl Budget unnötig verbraucht.

Wo möglich sollten diese doppelten Inhalte entfernt werden. Alternativ kann über den canonical tag google zu verstehen gegeben werden, welcher Inhalt das Original ist, das in den Suchergebnissen gelistet und mit Priorität gecrawlt werden soll.

Tipp 6: Schlechten Content entfernen oder aufwerten

Nicht jeder Content auf einer Website genügt den eigenen Ansprüchen und wird mit der Zeit vergessen. Wer sich mit Crawl Budget Optimization beschäftigt, sollte auch einen Blick auf diese Inhalte werfen und entscheiden, wie mit ihnen zu verfahren ist. 

Entweder sollten man sie entfernen, oder gewissenhaft daran arbeiten, dass sie zu wertvollem Content werden, den Google gerne präsentiert und den Leser schätzen. 

Gibt es mehrere kurze und knappe Artikel zum gleichen Thema, kann auch darüber nachgedacht werden sie zu kombinieren. 

Tipp 7: Die Robots.txt Datei optimal nutzen

Mit Hilfe der robots.txt Datei kann dazu beigetragen werden, dass Suchmaschinen schnell die wichtigen Inhalte finden und irrelevanten Content meiden. Eine fehlerhafte robots.txt Datei kann allerdings auch für viele Probleme bei der Indexierung sorgen.

Um eventuelle Fehler finden zu können, hat Google das Robots Testing Tool entwickelt: 

https://www.google.com/webmasters/tools/robots-testing-tool

Für die robots.txt Datei gibt es ein paar einfache Regeln die zunächst befolgt werden müssen:

• Der Text sollte in UTF-8 kodiert sein.
• Jeder Record ist eine Textzeile
• Sie sollte sich im Root-Verzeichnis befinden
• Sie sollte einzigartig sein
• Sie enthält nicht mehr als 1.024 Regeln
• und ist unter 500 KB groß

Typischerweise sollten die folgenden Inhalte mit Hilfe der robots.txt Datei versteckt werden: 

• Doppelte Inhalte die nicht entfernt werden können
• Paginationen (z.B. Produkte einer Kategorie die sich auf mehrere Seiten verteilen)
• Dynamische URLs
• Login-Seiten
• Formulare
• Warenkörbe
• Chatfenster
• Dankesseiten
• Admin-Bereiche

Über den Befehl “Disallow:” können ausgewählte Unterseiten und versteckt werden. 

Hier ein Beispiel: 

User-Agent: Googlebot

Disallow: /konto*

Disallow: /wp-admin*

Disallow: /search*
Diallow: /*page=

Disallow: /danke

Das *-Symbol ist eine sogenannte Wildcard. Würde der erste Befehl “Disallow: /konto” lauten, würde ausschließlich diese spezielle URL versteckt werden. Durch die Wildcard werden auch alle URLs versteckt, deren URL nach dem /konto noch weitergeführt wird. 

Beispielsweise würde die robots.txt durch die Wildcard in dem Befehl auch /konto-silvanmundorf verstecken.

Der Useragent gibt an, für wen die nachfolgenden Regeln gelten sollen. In meinem Beispiel sind sie an den Google Crawler gerichtet. Auch hier kann eine Wildcard eingefügt werden, sodass sie für alle Crawler gilt.

Konkret würde man schreiben: 

“User-Agent: *”

Ein weiterer wichtiger Anwendungsfall für eine robots.txt Datei ist, dass man hier auch auf wichtige Inhalte hinweisen kann.

Das funktioniert über den Befehl “Allow:”

Beispiel: 

User-Agent: *

Allow: /wichtiger-inhalt-1

Allow: /wichtiger-inhalt-2

Allow: /blog/

Allow: /wp-content/themes/css/

Allow: /wp-content/themes/images/

Tipp 8: Eine sinnvolle URL-Struktur mit flachen Hierarchien

Alle wichtigen Inhalte sollten mit möglichst wenigen Klicks auf der Website erreichbar sein. Das hilft nicht nur dem Nutzer, sondern auch dem Crawler von Google & Co. 

Erreichen kann man das durch flache Contenthierarchien und Siloing. 

Um hier effektiv arbeiten zu können, sollte mal sich Gedanken darüber machen, wie die Inhalte angeordnet sind und welche internen Links sie miteinander verbinden. 

Die URL von diesem Artikel lautet:

/seo/crawl-budget

Von der Startseite aus ist er mit zwei Klicks erreichbar. 

Hätte ich ihn in dem folgenden Ordner untergebracht, wären vier Klicks notwendig:

/inhalte/seo/technisches-seo/crawl-budget

Nachfolgend ein Beispiel für eine schlechte URL-Struktur: 

Hier sieht man, dass die Inhalte ungeordnet sind und nicht logisch angelegt wurden. Zudem sind sie teilweise weit von 5 oder mehr Klicks von der Startseite entfernt. Das verbracht viel Crawl Budget. 

Im Zuge der Crawl Budget Optimierung sollte man eine möglichst flache Hierarchie anstreben.

Anbei ein Beispiel für eine gute URL-Struktur: 

Hier sind alle Inhalte innerhalb von zwei Klicks erreichbar und es gibt klare Silos.

Tipp 9: Redirectketten vermeiden

Websites sind lebende Organismen, die mit der Zeit wachsen und sich verändern. Auch URLs und Links verändern sich. Um dennoch eine gute Nutzererfahrung zu gewährleisten und möglichst wenig Zeit zu investieren, arbeiten viele Webmaster mit Redirects. 

Wer Crawl Budget Optimization betreibt sollte jedoch wissen, dass jeder Redirect als ein Crawl gewertet wird. 

Mit der Zeit entstehen häufig Redirectketten, die das Crawl Budget unnötig aufbrauchen. 

Wenn also URL 1 zu URL 2 und die zu URL 3 weiterleitet, sollte man lieber URL 1 direkt auf URL 3 weiterleiten. 

Tipp 10: Defekte Links reparieren

Defekte Links frustriert Besucher und Crawler. Wird ihnen gefolgt, schwindet das Crawl Budget, ohne dass ein Mehrwert entsteht. Aus diesem Grund sollte man in regelmäßige Abständen alle Links (automatisiert) überprüfen und gegebenenfalls reparieren.

Tipp 11: Eine korrekte Pagination

Wer viele Produkte in einem Online Shop anbietet, oder einen besonders komplexen Inhalt präsentiert, verwendet häufig Pagination. Darunter versteht man den Content / die Produkte auf mehreren aufeinanderfolgenden Seiten anzeigen zu lassen. 

Auf diese Weise überfordert man den Besucher nicht und kann positive Effekte für die Ladezeit der Website erzielen. Allerdings kann dies auch zu doppeltem Content führen und den Crawler sinnfrei beschäftigen.

In jedem Fall sollte man die Beziehung der Seiten zueinander mit dem rel=”next” und rel=”prev” Attribut klarstellen. 

Darüber hinaus ist es ratsam die jeweiligen Seiten mit einem selbstreferenzierenden Canonical Tag zu versehen.

Die Seite mit der URL /kategorie?seite=2 sollte also den tag

Die erste Seite sollte kein rel=”prev” und die letzte Seite kein rel=”next” Attribut enthalten. Außerdem ist darauf zu achten, dass diese stets imund nicht imgeladen werden.

Darüber hinaus sollte man darauf achten, dass die paginierten Seiten nicht in der XML Sitemap gelistet sind.

Tipp 12: https und http nicht vermischen

Jede Website sollte unter dem https-Protokoll verschlüsselt erreichbar sein. Selbst wenn keine sensiblen Daten zwischen Server und Leser übermittelt werden erhöht dies das entgegengebrachte Vertrauen und ist ein positives Signal für Google & Co. 

Vor allem wenn man nachträglich von http zu https wechselt, kommt es oft vor, dass interne Links noch auf URLs mit dem http-Protokoll zeigen. 

Das macht keinen vertrauenserweckenden Eindruck, führt zu doppeltem Content und lenkt den Crawler auf einen Link, der im Idealfall redirected wird.

Vorsicht: Falsche Tipps im Internet

Online findet man immer wieder den Ratschlag, dass interne Links zu Seiten die keine hohe Priorität haben mit einem nofollow tag versehen werden sollten.
Der Gedanken dahinter ist, dass der Google Crawler diese überspringt und somit das Crawl Budget sinnvoll eingesetzt wird.

Davon möchte ich klar abraten. 

Nofollow suggeriert, dass der Website auf der anderen Seite des Links nicht vertraut wird, es sich um nicht redaktionelle Inhalte oder Werbung handelt. Interne Links sollte man mit diesem tag nicht ausstatten.