学习Python爬虫就要掌握以下三部分:
爬虫的工作原理和设计思想
反爬虫机制
分布式集群爬虫应用
想要掌握以上内容就需要学习以下内容:
1.Request模块、BeautifulSoup
2.PhantomJS模块学习
3.Selenium模块
4.基于requests实现登录:抽屉
5.GitHub、知乎、博客园
6.爬取拉钩职位信息
7.开发Web版微信
8.高性能IO性能相关模块
9.自定义开发一个异步非阻塞模块
10.asyncio、aiohttp、grequests
11.Twisted、验证码图像识别
12.Scrqpy框架以及源码刨析
13.框架组件介绍(engine、spider、downloader、scheduler、pipeline)分布式爬虫实战