Crawl / Crawler

Ein Programm, das von einer Suchmaschine zum „crawlen“ von Links im Internet benutzt wird, um Inhalte zu finden und zu indizieren. Auch Bot oder Spider genannt. Kann zur Identifizierung und Unterscheidung von Crawler-Typen verwendet werden, die eine Website indizieren.

« Back to Glossary Index