可以看这个教程:
此教程通过三个爬虫案例来使学员认识Scrapy框架、了解Scrapy的架构、熟悉Scrapy各模块。
此教程的大致内容:
1、Scrapy的简介。
主要知识点:Scrapy的架构和运作流程。
2、搭建开发环境:
主要知识点:Windows及Linux环境下Scrapy的安装。
3、ScrapyShell以及ScrapySelectors的使用。
4、使用Scrapy完成网站信息的爬取。
主要知识点:创建Scrapy项目(scrapystartproject)、定义提取的结构化数据(Item)、编写爬取网站的 Spider 并提取出结构化数据(Item)、编写 ItemPipelines 来存储提取到的Item(即结构化数据)。