Die Arbeit eines Crawlers wird als „Crawling“ bezeichnet. Dabei sucht er nach vorab definierten Schritten nach Informationen im Internet, die zunächst kategorisiert und anschließend indexiert werden.
Dies bildet die Basis für die Indexierung von Websites in Suchmaschinen.