Crawl-Budget-SEO – also die begrenzte Aufmerksamkeit, die der Googlebot Ihrer Website pro Besuch widmet – ist vor allem für große deutsche Websites (ab 10.000 indexierbaren Seiten) relevant. Unterhalb dieser Schwelle crawlt Google alles. Darüber crawlt Google selektiv, und Sie steuern, wohin das Budget fließt. Eine Logfile-Analyse zeigt, was der Googlebot tatsächlich crawlt (im Vergleich zu dem, was er crawlen soll), und deckt Optimierungspotenzial auf, das die meisten SEO-Tools übersehen.
Dieser Ratgeber zeigt, was Crawl-Budget-Optimierung und Logfile-Analyse 2026 tatsächlich erfordern: wann das Thema relevant ist, Optimierungsmaßnahmen, Tools für die Logfile-Analyse, typische Befunde auf deutschen Websites und ein Rahmen für die Priorisierung.
Was ist das Crawl-Budget?
Zwei Konzepte zusammen:
Crawl-Rate-Limit
Wie stark das Crawling des Googlebots Ihren Server belasten darf. Langsamerer Server = niedrigere Crawl-Rate.
Crawl-Bedarf
Wie groß das Interesse von Google ist, Ihre Website zu crawlen. Beliebtere und häufig aktualisierte Websites haben einen höheren Crawl-Bedarf.
Gemeinsame Wirkung
Der Googlebot hat pro Besuch nur begrenzt Zeit und Anfragen. Das Crawl-Budget gibt an, wie viele Seiten pro Besuch gecrawlt werden.
Wann spielt das Crawl-Budget eine Rolle?
Kaum relevant für
- Websites mit weniger als 1.000 indexierbaren Seiten – Google crawlt alles
- Websites unter 10.000 Seiten mit wenig doppelten oder dünnen Inhalten
- Die meisten Websites kleiner Unternehmen
Relevant für
- Websites ab 10.000 indexierbaren Seiten
- Onlineshops mit großem Sortiment und Parameter-URLs
- Websites mit vielen doppelten oder dünnen Inhalten
- Websites nach einer Migration mit vielen neuen URLs
Entscheidend für
- Websites ab 100.000 Seiten
- Marktplätze und Verzeichnisse
- Große News- und Verlagswebsites
- Onlineshops mit umfangreicher Filternavigation
Für die meisten Unternehmen im Mittelstand ist das Crawl-Budget kein Thema. Für große Onlineshops, Marktplätze oder Content-Websites ist es entscheidend.
Was zeigt eine Logfile-Analyse?
Server-Logfiles protokollieren jede Anfrage, auch die des Googlebots. Die Analyse zeigt:
Welche Seiten der Googlebot crawlt
Realität und Erwartung im Vergleich. Überraschungen sind häufig.
Crawl-Häufigkeit je Seitentyp
Seiten mit viel Traffic werden oft gecrawlt, Long-Tail-Seiten selten. So erkennen Sie die Verteilung.
Verschwendetes Crawling auf URLs mit geringem Wert
Filterkombinationen, Parameter-URLs und Session-IDs verbrauchen Budget.
404-Fehler und Weiterleitungsketten
404-Fehler verschwenden Budget. Weiterleitungsketten verbrauchen mehrere Anfragen.
Antwortzeiten beim Crawling
Langsame Seiten = weniger Crawling. Die Performance beeinflusst das Crawl-Budget.
Mobiles und Desktop-Crawling
Wegen der Mobile-First-Indexierung überwiegt das mobile Crawling. Werten Sie beides getrennt aus.
Welche Tools eignen sich für die Logfile-Analyse?
Screaming Frog Log File Analyser
Desktop-Tool. Importiert Logfiles und analysiert die Aktivität des Googlebots. Ca. 100 € pro Jahr.
Sistrix Logfile
Cloudbasiert. Visuell und handlungsorientiert. Im Abonnement enthalten.
JetOctopus
Cloudbasierter Logfile-Analyzer und SEO-Crawler. Mittleres Preisniveau.
Botify
Enterprise-Tool für Logfiles und Crawling. Hochpreisig (€€€€).
Eigene Analyse (grep und Excel)
In Eigenregie: Zeilen mit dem User-Agent des Googlebots extrahieren und in Excel oder Google Sheets auswerten. Kostenlos.
Für die meisten großen deutschen Websites ist der Screaming Frog Log File Analyser der richtige Einstieg.
Wie greifen Sie auf Logfiles zu?
Über Ihren Hosting-Anbieter
- Hetzner Cloud: per SSH auf den Server, /var/log/nginx/ oder /var/log/apache2/
- Mittwald: Zugriff über das Kundencenter
- AWS: CloudWatch Logs oder in S3 gespeicherte Logs
- Cloudflare: Logpush in Ihren S3-Speicher
Was Sie brauchen
- Server-Access-Logs (nicht nur Anwendungslogs)
- Ideal ist das Combined Log Format
- Mindestens 30 Tage Logs für die Analyse
- 90 Tage oder mehr sind besser, um Muster zu erkennen
Datenschutz
Logs enthalten IP-Adressen. Behandeln Sie sie als personenbezogene Daten im Sinne der DSGVO. Anonymisieren Sie sie vor der Analyse, wenn Dritte Zugriff erhalten.
Was umfasst die Optimierung des Crawl-Budgets?
Fünf Maßnahmen:
1. Weniger Crawling auf URLs mit geringem Wert
Per robots.txt sperren oder auf noindex setzen:
- Parameter-URLs (?utm_source=, ?sort=)
- Tag-Archive
- Seiten mit internen Suchergebnissen
- Test- und Staging-URLs
- Alte paginierte Archive
2. Doppelte Inhalte beseitigen
Canonical-Tags bündeln Signale. Vermeiden Sie doppelte URLs am besten von vornherein.
3. 404-Fehler beheben
Entweder weiterleiten (wenn die URL Linkkraft hat) oder aus der Sitemap entfernen. Lassen Sie den Googlebot nicht ins Leere laufen.
4. Weiterleitungsketten verkürzen
Seite A → Seite B → Seite C → Ziel verschwendet Budget. Richtig ist Seite A → Ziel.
5. Ladezeit verbessern
Schnellere Seiten = mehr gecrawlte Seiten pro Besuch. Allgemeine Performance-Prinzipien finden Sie in unserem Ratgeber zur Shopify-Geschwindigkeitsoptimierung.
Welche Muster verschwenden Crawl-Budget?
Sechs typische Muster:
Indexierte Filternavigation
Filterkombinationen erzeugen Millionen von URLs. „Alle roten Baumwollhemden in Größe M unter 50 € auf Lager“ als eigene URL. Verschwendetes Crawling.
Session-IDs in URLs
?sessionid=abc123 an jeder URL. Jede Variante wird als eigene Seite gecrawlt.
URLs mit Tracking-Parametern
URLs wie ?utm_source=facebook&utm_medium=cpc&utm_campaign=spring werden indexiert.
Vergessene Testseiten
/test-page-do-not-index/ versehentlich indexiert.
Kalenderseiten bis ins Jahr 2099
Manche Kalender-Apps erzeugen URLs bis ins Jahr 2099. Der Googlebot crawlt sie alle.
Zu tiefe Archivseiten
Ein Blogarchiv, das 15 Jahre zurückreicht. Die ältesten Archivseiten werden gecrawlt, aber nie indexiert.
Wie priorisieren Sie Maßnahmen aus der Logfile-Analyse?
Ein Rahmen für die Priorisierung:
1: Kritisch (Woche 1–2)
- Offensichtlich verschwenderische URL-Muster per robots.txt sperren
- 404-Fehler beheben, auf die der Googlebot häufig trifft
- Canonical-Konflikte auf wichtigen Seiten lösen
2: Große Wirkung (Woche 2–4)
- Weiterleitungsketten beseitigen
- Wildwuchs bei Parameter-URLs reduzieren
- Unterschiede zwischen mobilem und Desktop-Crawling beheben
3: Optimierung (Woche 4–8)
- Ladezeit dort verbessern, wo der Googlebot langsam ist
- Strukturelle Änderungen gegen verschwendetes Crawling
4: Strategisch (Monat 2–3)
- Architektur für effizientes Crawling neu ordnen
- Eine Tagging-Strategie, die den URL-Raum nicht aufbläht
Mehr zum technischen SEO lesen Sie in unserem Ratgeber zum technischen SEO-Audit.
Was crawlt der Googlebot auf deutschen Websites tatsächlich?
Typische Muster aus Logfile-Analysen:
Häufig gecrawlt
- Startseite (mehrmals täglich)
- Seiten mit dem meisten Traffic
- Neu veröffentlichte Inhalte
- In der Sitemap gelistete URLs
Mittelmäßig gecrawlt
- Ältere, aber weiterhin besuchte Seiten
- Kategorie- und Kollektionsseiten
- Seiten der Hauptnavigation
Selten gecrawlt
- Tief liegende oder ältere Blogbeiträge
- Long-Tail-Produktseiten
- Seiten mit wenigen internen Links
Schwankend
- Neue Seiten – Crawl-Spitze bei Veröffentlichung, danach Normalisierung
Werden Ihre wertvollsten Seiten selten gecrawlt, stimmt etwas nicht. Prüfen Sie die interne Verlinkung und die Aufnahme in die Sitemap.
Wie hängen Crawling und Indexierung zusammen?
Drei Zustände:
Gecrawlt, aber nicht indexiert
Google hat die Seite gesehen, aber nicht indexiert. Häufige Gründe: dünner Inhalt, doppelter Inhalt, geringer wahrgenommener Wert.
Gecrawlt und indexiert
Die Seite ist im Google-Index und kann ranken.
Nicht gecrawlt
Google hat die Seite nicht besucht. Gründe: keine internen Links, per robots.txt gesperrt oder Crawl-Budget erschöpft.
Für große Websites gilt als Ziel: Alle wichtigen Seiten sind gecrawlt und indexiert.
Welche Crawl-Daten liefert die Search Console?
Die Search Console liefert nur begrenzte Crawl-Daten:
Bericht „Crawling-Statistiken“
Einstellungen → Crawling-Statistiken. Gesamtaktivität des Googlebots, keine Details auf URL-Ebene.
Bericht zur Seitenindexierung
Seiten → welche indexiert sind, welche nicht und warum.
URL-Prüftool
Pro URL: wann der Googlebot zuletzt gecrawlt hat und der Indexierungsstatus.
Für Details auf URL-Ebene und zur Crawl-Häufigkeit brauchen Sie Logfiles. Die Search Console allein reicht für die Arbeit am Crawl-Budget nicht aus.
Häufig gestellte Fragen
Die begrenzte Aufmerksamkeit des Googlebots pro Besuch einer Website.
Ab 10.000 indexierbaren Seiten; ab 100.000 Seiten ist es entscheidend.
Mit den Crawling-Statistiken der Search Console und einer Logfile-Analyse.
Screaming Frog Log File Analyser, Sistrix, JetOctopus, Botify.
Über Ihren Hosting-Anbieter, Cloudflare Logpush oder AWS CloudWatch.
Filternavigation, Session-IDs, Tracking-Parameter, 404-Fehler, Weiterleitungsketten.
Verschwendung sperren, 404-Fehler beheben, Weiterleitungsketten beseitigen, Ladezeit optimieren.
Nein, unter 10.000 Seiten crawlt Google alles.
Sie brauchen Unterstützung bei der Crawl-Budget-Analyse?
Wenn Ihre Website mehr als 10.000 Seiten hat und Sie in einem 30-minütigen Gespräch Logfile-Analyse und Crawl-Optimierung klären möchten, buchen Sie einen Termin oder senden Sie uns Ihre Details über unsere Kontaktseite.
Sie brauchen professionelle Unterstützung? Gem Programmers bietet Suchmaschinenoptimierung aus einer Hand für Unternehmen in Deutschland, Österreich und der Schweiz. Fordern Sie ein kostenloses, unverbindliches Angebot an und erhalten Sie einen klaren Plan mit Umfang, Zeitrahmen und Preis.
