学会自己安装python
学会自己安装python、库和你的编辑器并设置好它我们学习python的较终目的是要用它来达到我们的目的,它本身是作为工具的存在,我们一定要掌握自己的工具的各类设置,比如安装、环境配置、库的安装,编辑器的设置等等。当然也可以用比如Anaconda来管理你的版本和各种库!
学会一些基础的模块
1
我们有目标网址,怎么写爬虫呢?这个时候,建议大家可以找一些简单爬虫的视频或者文章,跟着老师一起写代码,先感受一下爬虫是怎么一步一步的在你的手里完成的!
2
当然这里不是说你照着老师的代码敲一遍就算学会了,个人认为,这里你较少要做三步:
3
要学会老师的思路。比如基本所有的教程并不是拿到url就开始写代码了,都有自己的分析过程,而思路在爬虫中占到很大一部分的比重,有了思路,写代码就不难了
4
先模仿在独立完成。先跟着老师做一些简单的爬虫,然后思路和代码都掌握以后,就可以尝试自行查找类似的项目去独立完成一个爬虫了!推荐基础模块:re,requests,time等,自定义函数、类等语法以及报头、cookie的写入等等也需要了解
学习各种表达式,并精通1-2种!学会了如何爬取网页内容之后,你还需要学会进行信息的提取。事实上,信息的提取你可以通过表达式进行实现,同样,有很多表达式可以供你选择使用,常见的有正则表达式、XPath表达式、BeautifulSoup(bs4)等,这些表达式你没有必要都精通,同样,精通1-2个,其他的掌握即可,在此建议精通掌握正则表达式以及XPath表达式,其他的了解掌握即可。正则表达式可以处理的数据的范围比较大,简言之,就是能力比较强,XPath只能处理XML格式的数据,有些形式的数据不能处理,但XPath处理数据会比较快,而且以后你学习爬虫框架也会用到xpath。广州哪里学python
立即预约课程
深入掌握抓包并分析提取需要的内容
深入掌握抓包并分析提取需要的内容在我们练习的过程中,会经常碰到有反爬措施的网站,而这些网站较常使用的措施就是隐藏数据,那么这时我们就要学会使用抓包分析,推荐大家一定要精通浏览器的开发者工具以及fiddler抓包工具,当然其他抓包工具或者抓包插件也可以,没有特别要求。