(Engl. Kriecher, Krabbler)

Der Crawler ist eine Bezeichnung für Programme, die - meist im Auftrag von Suchmaschinen

- Seiten von Webservern für die Indizierung holen.

Andere Definition:

Crawler (Spider) sind spezielle Suchprogramme, die im Web alle Links einer Webseite verfolgen und auf diese Weise neue und geänderte Seiten erkennen und diese dann in einen Suchindex aufnehmen.