Crawler

Webcrawler werden primär von Suchmaschinen eingesetzt. Sie durchsuchen das WWW und analysieren Webseiten. Webcrawler verhalten sich in etwa so wie normale User, die im Internet surfen. Er gelangt über Hyperlinks von einer Webseite zur nächsten. Sie arbeiten weitgehend autonom und verfolgen ständig sich wiederholenden Aufgaben.