Was ist das Crawl Budget?
Das Crawl-Budget bestimmt, wie viele Ressourcen – Zeit und Rechenleistung – die Google-Roboter für die Indexierung einer bestimmten Website aufwenden. Dies spiegelt die Anzahl der Seiten wider, die in den Suchmaschinenindex aufgenommen werden, sowie die Häufigkeit der Indexierung. Das Crawl-Budget wird u.a. beeinflusst durch:
- Crawl-Rate-Limit – die Anzahl der Seiten, die von Suchmaschinen-Robotern in kurzer Zeit gecrawlt werden,
- Crawl Health – niedrige Server-Antwortzeit, korrekte Antwortcodes, Ladegeschwindigkeit,
- Crawl-Bedarf – der Bedarf an (erneutem) Crawling, der u. a. von der Häufigkeit der Inhaltsaktualisierungen und dem Webverkehr abhängt,
- Seitengröße, Verwendung von JavaScript-Code – Seiten mit JS benötigen mehr Indexierungsbudget.
