Python网络爬虫技术与应用

第1章 网络爬虫概述

1.1 网络爬虫简介

1.1.1 网络爬虫的概念与类别

1.1.2 网络爬虫的流程

1.1.3 网络爬虫的抓取

1.2 网络爬虫的攻防战

1.3 反网络爬虫技术及解决方案

1.4 本章习题

第2章 Python基本知识介绍

2.1 Python编程

2.1.1 Python的安装与环境配置

2.1.2 PyCharm的安装与使用

2.2 HTML基本原理

2.2.1 HTML简介

2.2.2 HTML的基本原理

2.3 基本库的使用

2.3.1 urllib库

2.3.2 requests库

2.3.3 re库

2.4 实战案例：百度新闻的抓取

2.5 本章习题

第3章 原生态网络爬虫开发

3.1 requests库详解

3.1.1 requests语法

3.1.2 requests库的使用

3.2 正则表达式

3.2.1 正则表达式详解与使用

3.2.2 Python与Excel

3.3 实战案例：环球新闻的抓取

3.4 本章习题

第4章 解析HTML内容

4.1 XPath的介绍与使用

4.1.1 XPath的介绍

4.1.2 XPath的使用

4.2 lxml库的安装与使用

4.2.1 lxml库的安装

4.2.2 lxml库的常见方法使用

4.3 Chrome浏览器分析网站

4.4 BeautifulSoup的安装与使用

4.5 实战案例：BeautifulSoup的使用

4.6 页面请求与JSON

4.6.1 JSON的介绍与应用

4.6.2 GET请求和POST请求

4.7 模拟浏览器

4.7.1 Selenium的介绍与安装

4.7.2 模拟点击

4.7.3 Ajax结果提取

4.8 实战案例：小说网站的抓取

4.9 模拟登录与验证

4.9.1 复杂的页面请求

4.9.2 代理IP

4.9.3 Cookie的使用与证书

4.9.4 使用Selenium进行模拟登录

4.10 验证码

4.10.1 手动打码

4.10.2 自动打码

4.11 实战案例：模拟登录及验证

4.11.1 基本思路与方法

4.11.2 使用Cookie

4.12 本章习题

第5章 Python与数据库

5.1 MySQL数据库的安装与应用

5.1.1 MySQL数据库的安装

5.1.2 MySQL数据库的应用

5.2 MongoDB的安装与使用

5.2.1 MongoDB的安装

5.2.2 MongoDB的使用

5.2.3 MongoDB的可视化工具RockMongo

5.3 Python库pymongo

5.4 本章习题

第6章 Python网络爬虫框架

6.1 Python网络爬虫的常见框架

6.2 PySpider网络爬虫框架简介

6.3 Scrapy网络爬虫框架简介

6.4 PySpider与Scrapy的区别

6.5 PySpider网络爬虫框架的安装和使用

6.5.1 PySpider的安装与部署

6.5.2 PySpider的界面介绍

6.5.3 PySpider的多线程网络爬虫

6.5.4 使用Phantomjs渲染

6.5.5 PySpider网络爬虫时间控制

6.5.6 RabbitMQ队伍去重

6.5.7 在Linux系统下安装部署PySpider

6.5.8 实战案例：使用PySpider抓取题库

6.6 Scrapy网络爬虫框架的安装和使用

6.6.1 Scrapy的简介与安装

6.6.2 Scrapy的项目文件介绍

6.6.3 Scrapy的使用

6.6.4 Scrapy中使用XPath

6.6.5 Scrapy与MongoDB

6.6.6 Scrapy_Redis的安装与使用

6.6.7 使用Redis缓存网页并自动去重

6.6.8 实战案例：抓取豆瓣Top250

6.7 Scrapy网络爬虫管理与部署

6.7.1 Scrapyd管理网络爬虫

6.7.2 使用SpiderKeeper进行任务监控与定时抓取

6.7.3 Supervisor网络爬虫进程管理

6.7.4 Scrapy项目设计思路

6.7.5 实战案例

6.8 本章习题

第7章 综合性实战案例

7.1 实战案例1：瀑布流抓取

7.2 实战案例2：网络爬虫攻防战

7.2.1 网络爬虫攻防技术认识

7.2.2 代理IP地址网站

7.2.3 抓取新浪微博内容

7.2.4 获得微博内容信息并保存到文本中

7.3 实战案例3：分布式抓取

7.3.1 背景/案例知识介绍

7.3.2 某研究中心的数据抓取

7.3.3 查看效果

7.4 实战案例4：微信公众号文章点赞阅读数抓取

7.4.1 所运用的内容讲解

7.4.2 抓取微信公众号文章的评论数据

7.4.3 效果展示

本章习题

参考文献