搜索引擎蜘蛛程序,其实就是搜索引擎的一个自动应用程序,它的作用是什么呢?其实很简单,就是在互联网中浏览信息,然后把这些信息都抓取到搜索引擎的服务器上,然后建立索引库等等。
有哪些类型的蜘蛛
批量型蜘蛛
这种蜘蛛基本上每天都是完成固定的目标和抓取任务,比如在规定抓取范围内抓取网页数量,或者网页大小,抓取时间等。
垂直性蜘蛛
这种蜘蛛会根据特定的主题或者行业进行抓取。那么它只会抓取特定相关的主题,其他的内容不会抓取,这类蜘蛛的难点就是需要辨识内容所属行业,目前很多垂直行业网站都是这种蜘蛛抓取。
增量型蜘蛛
portant;">与批量型蜘蛛不同的是,这类蜘蛛会持续不断抓取并对已抓取页面定期更新,增量型蜘蛛一般都会保持这个状态,比如我们常见的快照抓取就是增量型蜘蛛。