网络爬虫项目实践

项目一 网页数据获取 1 任务1.1 读书网信息爬取 2 1.1.1 网页结构分析 2 1.1.2 第三方库安装 3 1.1.3 解决爬虫中文乱码的问题 6 1.1.4 网页数据爬取 7 任务1.2 今日头条数据爬取 11 1.2.1 网页数据爬取 12 1.2.2 获取搜索结果详情 16 1.2.3 解析详情页数据 18 1.2.4 保存数据 23 任务1.3 京东动态渲染页面的信息爬取 25 1.3.1 网页结构分析 26 1.3.2 第三方库安装 27 1.3.3 搜索关键字 30 1.3.4 分析页面并翻页 34 1.3.5 分析提取商品内容 38 1.3.6 保存信息至MongoDB 40 项目二 特殊网页数据获取 45 任务2.1 数睿思网模拟登录 45 2.1.1 查找提交入口 46 2.1.2 查找并获取需要提交的 表单数据 47 2.1.3 使用post请求方法登录 49 任务2.2 古诗词网数据爬取 51 2.2.1 Tesseract引擎的下载和安装 52 2.2.2 第三方库安装 53 2.2.3 验证码识别 54 2.2.4 完成登录 58 任务2.3 微信网页代理爬虫文章信息 62 2.3.1 网页结构分析 63 2.3.2 使用Flask?+?Redis维护代理池 66 2.3.3 爬取索引页内容 72 2.3.4 设置代理 74 2.3.5 分析详情页内容 76 2.3.6 保存数据信息至MongoDB 80 项目三 Scrapy框架爬虫 85 任务3.1 当当网商品爬取 86 3.1.1 创建Scrapy项目 87 3.1.2 商品数据爬取 88 3.1.3 商品数据处理 92 任务3.2 登录赶集网 95 3.2.1 创建爬虫项目 95 3.2.2 获取表单HashCode 97 3.2.3 获取验证码 98 3.2.4 编写代码 99 任务3.3 失信人信息爬取 102 3.3.1 创建爬虫项目 103 3.3.2 定义数据模型 104 3.3.3 爬取失信人名单 104 3.3.4 保存失信人名单信息 109 3.3.5 下载器中间件 112 项目四 分布式爬虫 117 任务4.1 环境搭建 118 4.1.1 安装VMware虚拟机 119 4.1.2 安装Linux 124 4.1.3 虚拟机网络设置 145 4.1.4 安装Python 148 4.1.5 安装分布式框架 151 4.1.6 克隆虚拟机 151 4.1.7 安装Redis数据库 155 任务4.2 某事百科段子爬取 162 4.2.1 创建Scrapy项目 162 4.2.2 爬取网页数据 164 4.2.3 分布式爬取 166 任务4.3 链家网内容爬取 169 4.3.1 创建Scrapy项目 170 4.3.2 爬取网页数据 171 4.3.3 数据存储 175 4.3.4 分布式爬取 177 参考文献 182