Crawler

Ein Crawler ist ein Computerprogramm, das automatisiert Dokumente im Web durchsucht. Primär wird ein Crawler für sich wiederholende Aktionen programmiert, damit das Durchsuchen gänzlich automatisiert abläuft. Suchmaschinen setzen Crawler verstärkt ein, um das WWW durchzusuchen und einen Index aufzubauen. Andere Crawler wiederum können unterschiedliche Arten von Informationen durchsuchen, die RSS-Feeds oder E-Mail-Adressen. Der Begriff Crawler stammt von der ersten Suchmaschine für das Internet, dem Webcrawler. Der bekannteste Webcrawler ist der Googlebot.