Was ist ein Crawler?
Crawler (auch als Spider oder Spiderbot bekannt) ist ein Internet-Bot, der von Suchmaschinen eingesetzt wird. Seine Aufgabe ist es, Informationen über die Web-Architektur und ihre Inhalte zu sammeln, um sie zu indizieren und, wenn sie nützlich sind, den Nutzern in den Suchergebnissen anzuzeigen.
Wofür sind Web Crawler da?
Die Hauptfunktionen von Crawlern sind:
Der bekannteste Crawler ist der Googlebot. Es ist auch erwähnenswert, dass Crawling nicht immer bedeutet, dass eine Seite indiziert und somit in den Suchergebnissen angezeigt wird.