爬虫依照体系结构和完成技术性，大概可以分成下面三种种类：通用性爬虫（General Purpose Web Crawler），对焦爬虫（Focused Web Crawler）增加量式爬虫（Incremental Web Crawler），深层次爬虫（Deep Web Crawler）。具体的爬虫系统软件一般是几类网络爬虫技术相结合完成的。

一，通用性爬虫

通用性爬虫被称作各大网站网络爬虫（Scalable Web Crawler），爬取目标从一些种籽URL 扩大到全部 Web，关键为网站网站百度搜索引擎和大 型 Web 服务供应商采集数据。因为行业缘故 ，他们的关键技术比较少公布出来。通用性爬虫的构造一般可以分成网页页面爬取控制模块 ，网页页面解析控制模块，连接超滤器控制模块，网页页面数据库查询，URL 序列原始URL结合好多个一部分。为提升工作效能，通用性爬虫会采用一定的爬取对策。常 用的爬取对策有：深度优先对策，深度广度优先选择对策。

二，对焦爬虫

对焦爬虫（Focused Crawler），又被称为主题风格 爬虫（Topical Crawler），就是指可选择性地爬取那 些与事先设定好的题材相关的界面的爬虫[8]。和 通用性爬虫对比，对焦网络爬虫只*须 爬取与内容有关 的网页页面，巨大地节约了硬件配置和互联网资源，储存的网页页面 也因为使用量少而更新最快，还能够有效地掌握一些特殊 群体对某一行业信息的要求 。对焦爬虫和通用性爬虫对比，提升了链 接点评控制模块及其內容点评控制模块。对焦网络爬虫爬取对策实 现的关键是点评网页页面的内容和超链接的必要性，不一样的方 法测算出的必要性不一样，从而造成 连接的浏览次序也 不一样。关键的爬取对策包含：根据內容点评的爬取策 略，根据连接构造点评的爬取对策 ，根据强化学习 的爬取对策，根据情境图的爬取对策。

三，增加量式爬虫

增加量式爬虫（Incremental Web Crawler）就是指对已下载页面采用增加量式升级和只爬取新形成的或是早已产生变化 网页页面的网络爬虫，它可以在一定水平上确保所爬 行的导航栏是为了新的网页页面。增加量式网络爬虫只 会在必要的情况下爬取新造成或产生升级的页 面 ，并不再次免费下载沒有产生变化的网页页面，可 合理降低数据信息注册量，立即升级已爬取的网 页，减少时间和空间上的消耗，可是提升了 爬取优化算法的复杂性和完成难度系数。增加量式互联网 网络爬虫的系统架构[包括爬取控制模块，排列控制模块， 升级控制模块，当地网页页面集，待爬取 URL 集及其 当地网页页面URL 集。

四，Deep Web 网络爬虫

Web 网页页面按存有方法能够分成表面网页页面（Surface Web和深层次网页页面（Deep Web，也 称 Invisible Web Pages 或 Hidden Web）。表面网页页面是 指传统式百度搜索引擎能够数据库索引的网页页面，以网页链接能够抵达的静态页面 为主导组成的 Web 网页页面。Deep Web 是这些绝大多数內容不可以根据静 态连接获得的，掩藏在检索表格后的，仅有客户递交一些关键字 才可以得到的 Web 网页页面。比如这些新用户注册后內容才由此可见的网页页面 就归属于 Deep Web。2000 年Bright Planet 强调：Deep Web 中可 访问记录容积是 Surface Web 的十几倍，是网络上较大，发展趋势 更快的新式信息资源 。Deep Web 网络爬虫系统架构包括六个基本技能 能控制模块 （爬取控制板，在线解析，表格解析器，表格CPU，回应 解析器，LVS 控制板）和2个网络爬虫內部算法设计（URL 目录， LVS 表）