网络爬虫能做什么

爬虫基于用户需求诞生。比如说有我感觉每天打开简书首页看东西太累了，希望可以有一份邮件告诉我昨天我关注的专栏更新的收录文章，或者告诉我简书喜欢量多的文章TOP10。我肯定不会蛋疼到雇一个人帮我一个一个翻(因为我没钱)，但是我会雇一个网络爬虫帮我解决这个问题(因为他只问我要电费和带宽费)。

那爬虫是怎么工作的呢?想象你雇了一个富土康流水线的员工帮你去互联网找东西，爬虫也就是这样工作。

1.向网站发起一个请求(request)，比如说你打开一个视频页面准备看;

2.中间经过好多了复杂的步骤，比如说验证你的身份

3.网站响应(response)了你请求的内容

4.爬虫解析响应内容种是否存在其他目标链接，如有重复步

5.爬取的数据用于进一步的数据挖掘