一般系统从三个层面反爬虫：客户要求的Headers，客户个人行为，网站导航和数据加载方法。前二种非常非常容易碰到，大部分网址都从某些视角来反爬虫。第三种一些采用ajax的网址会选用，那样增加了爬虫的难度系数（避免静态数据网络爬虫应用ajax技术动态性载入网页页面）。

1.从客户要求的Headers反爬虫是最普遍的反爬虫对策

许多 平台都是对Headers的User-Agent开展检验，也有一部分网页会对Referer展开检验。假如碰到了这种反爬虫体制，能够立即在网络爬虫中加上Headers，将网页的User-Agent拷贝到网络爬虫的Headers中：或是将Referer值改动为总体目标域名。

2.根据使用者个人行为反爬虫

也有一部分网页是在监测使用者个人行为，比如同一IP短期内内数次浏览同一网页页面，或是同一账号短期内内数次开展重复实际操作。大部分平台全是前一种状况，针对这样的状况，应用IP代理商就可以处理；针对第二种状况，能够在每一次申请后任意间距几分钟再开展下一次要求。

3.动态性网页的反爬虫

以上的那些现象大多数都会发生在静态网页，也有一部分网址，大家*须 抓取的数据信息是根据ajax要求获得，或是使用Java转化成的。

解决方法：Selenium PhantomJS。Selenium：自动化技术web检测解决方法，彻底模仿真正的电脑浏览器自然环境，彻底仿真模拟大部分大部分的客户实际操作；PhantomJS ：一个沒有用户界面的电脑浏览器。

普遍的反爬对策具体有：

IP限定

UA限定

Cookie限定

資源随机化储存

动态性载入技术性

相匹配的反爬解决方式具体有：

IP代理池技术性

客户代理池技术性

Cookie储存与解决

全自动开启技术性

抓包软件剖析技术性 全自动开启技术性