Python网络爬虫 Scrapy框架

第1章 使用第三方库实现信息抓取
任务1 使用第三方库实现北京公交站点页面信息抓取
1．1．1 介绍爬虫
1．1．2 HTTP
1．1．3 HTML
1．1．4 使用第三方库实现爬虫功能
1．1．5 技能实训
任务2 使用第三方库实现北京公交站点详细信息抓取
1．2．1 lxml库
1．2．2 第三方库数据抓取及保存
1．2．3 技能实训
本章小结
本章作业

第2章 初探Scrapy爬虫框架
任务1 安装Scrapy爬虫框架并创建爬虫工程
2．1．1 根据使用场景划分爬虫种类
2．1．2 开发基于Scrapy爬虫框架的工程
任务2 学习并掌握Scrapy爬虫框架各模块的功能
2．2．1 Scrapy爬虫工程组成
2．2．2 Scrapy爬虫框架架构
本章小结
本章作业

第3章 提取网页数据
任务1 使用Scrapy的选择器提取豆瓣电影信息
3．1．1 Response对象
3．1．2 css选择器
3．1．3 多层级网页爬取
3．1．4 技能实训
任务2 使用正则表达式从电影介绍详情中提取信息
3．2．1 正则表达式
3．2．2 技能实训
本章小结
本章作业

第4章 Scrapy数据保存（文件、MySQL、MongoDB）
任务一 使用Feed exports将爬取的电影信息保存到常见数据格式文件中
4．1．1 Feed exports
4．1．2 技能实训
任务2 使用pipeline将爬取的电影信息数据保存到数据库中
4．2．1 Python操作MySQL数据库
4．2．2 pipeline模块
4．2．3 将数据保存到MongoDB中
4．2．4 技能实训
本章小结
本章作业

第5章 Scrapy反反爬技术
任务1 学习反爬虫和反反爬虫策略
5．1．1 反爬虫方法和反反爬虫策略
5．1．2 Scrapy设置实现反反爬
5．1．3 技能实训
任务2 学习Scrapy框架中*多常用的设置
……