PYTHON爬虫实战基础

第1章基础开发环境

1.1Docker环境的搭建

1.1.1安装Docker

1.1.2用Docker安装MySQL

1.1.3用Docker安装Redis

1.1.4用Docker安装MongoDB

1.1.5用Docker安装Selenium Grid

1.2Python的开发环境

1.2.1Python的优点、缺点

1.2.2Python解释器

1.2.3Python IDE

1.3JavaScript的运行环境

1.4辅助工具的安装

1.4.1安装Git

1.4.2安装ADB驱动

1.4.3安装Fiddler

1.4.4安装Postman

1.4.5XPath测试插件

第2章HTML页面的信息提取

2.1HTML页面解析概述

2.1.1HTML页面的构成原理

2.1.2Python提取HTML页面信息的方式

2.2XPath提取HTML页面信息

2.2.1XPath基础

2.2.2XPath教程

2.2.3XPath技巧

2.3正则表达式

2.3.1基本语法

2.3.2表达式全集

2.3.3表达式字符组、优先权

2.3.4表达式的分组与引用

2.3.5Python re模块

2.4案例

2.4.1正则校验公民身份号码的合法性

2.4.2下载微信文章及其静态资源

第3章日志模块

3.1日志基础

3.1.1应用场景及重要性

3.1.2日志的使用

3.2四大组件之Logger(记录器)

3.2.1Logger的作用

3.2.2Logger的属性和方法

3.2.3Logger的常用配置方法

3.2.4案例： 为日志记录器添加自定义过滤器

3.3四大组件之Handler(处理器)

3.3.1Handle的作用

3.3.2Handle的属性和方法

3.3.3Handle的常用方法

3.3.4内置Handler类型及功能

3.3.5案例一： 将日志写入磁盘文件

3.3.6案例二： 将日志文件按时间分割

3.3.7案例三： 将日志文件按大小分割

3.3.8案例四： 给指定邮箱发送日志消息

3.3.9案例五： Web日志服务器的传参、认证和调用

3.4四大组件之Formatter(格式化器)

3.4.1Formatter的属性和方法

3.4.2可选格式化字段

3.5四大组件之Filters(过滤器)

3.5.1Filters的属性和方法

3.5.2自定义Filters

3.6LogRecord对象

3.6.1LogRecord的属性和方法

3.6.2构造LogRecord实例化对象

3.6.3案例： Web日志服务器恢复LogRecord对象

3.7日志的配置

3.7.1显式配置

3.7.2通过fileConfig配置

3.7.3通过dictConfig配置

第4章数据库操作

4.1通过ORM模型操作MySQL

4.1.1什么是ORM模型

4.1.2SQLAlchemy是什么

4.1.3SQLAlchemy基础

4.1.4数据库引擎配置

4.1.5创建会话

4.1.6创建声明性类

4.1.7定义数据列及类型

4.1.8增、改、查、删

4.1.9ORM事务操作

4.1.10常用关系表的创建

4.1.11关系表数据的插入

4.1.12连接查询

4.1.13关系表数据的删除

4.2MongoDB数据库

4.2.1MongoDB基础

4.2.2MongoDB文档的增、删、改

4.2.3MongoDB文档查询

4.2.4MongoDB的聚合

4.2.5MongoDB索引操作

4.2.6MongoDB的复制

4.2.7MongoDB的备份与恢复

4.2.8Python与MongoDB交互

4.3Redis操作

4.3.1Redis基础

4.3.2Python操作Redis的流程

4.3.3Python中常用的Redis命令

4.3.4Python中使用Redis去重

4.3.5Redis内置布隆过滤器

4.3.6使用Redis作消息队列

4.3.7打造Redis发布订阅框架

第5章机制与协议

5.1TCP/IP协议簇

5.1.1互联网协议套件

5.1.2TCP/IP协议簇的组成

5.1.3TCP/IP参考模型

5.2TCP与UDP协议

5.2.1socket通信

5.2.2UDP协议

5.2.3TCP协议

5.2.4TCP的三次握手

5.2.5TCP的四次挥手

5.2.6TCP长连接

5.3HTTP与HTTPS协议

5.3.1HTTP协议的实现

5.3.2使用socket实现HTTP协议服务器

5.3.3HTTPS协议的实现

5.3.4关于TLS与SSL协议

5.3.5一次爬虫请求的过程

5.3.6HTTP响应状态码

5.3.7HTTP请求头与响应头

5.4WebSocket协议

5.4.1协议内容

5.4.2Python连接WebSocket

5.4.3案例： 虚拟货币实时价格爬虫

5.5SMTP协议与IMAP协议

5.5.1SMTP协议

5.5.2IMAP协议

5.5.3Python使用SMTP关键接口

5.5.4Python使用IMAP关键接口

5.5.5案例一： 发送HTML格式的邮件

5.5.6案例二： 发送带附件的邮件

5.5.7案例三： 发送显示图片的HTML格式的邮件

5.5.8案例四： 自动读取邮箱验证码

5.6Robots协议

5.7安全与会话机制

5.7.1CSRF攻击与保护

5.7.2CSRF验证过程

5.7.3Cookie机制

5.7.4会话

5.7.5Token与JWT

5.7.6案例： 获取本地Chrome浏览器中的任意Cookie信息

第6章工具教程

6.1Fiddler高级抓包教程

6.1.1Fiddler的基础功能

6.1.2抓取HTTPS请求

6.1.3Fiddler的过滤规则

6.1.4Fiddler断点调试

6.1.5Fiddler手机抓包

6.1.6App的防抓包措施

6.1.7安卓系统模拟器抓包

6.1.8一键生成Python代码

6.1.9自定义请求响应规则

6.1.10响应数据转发脚本

6.1.11Fiddler脚本开发

6.2Postman高级教程

6.2.1Postman的基础

6.2.2设置Postman变量

6.2.3编写动态变量逻辑

6.2.4Postman Cookie管理

6.2.5请求及响应相关功能

6.2.6生成Python代码

6.3PyCharm的高级功能

6.3.1PyCharm断点调试

6.3.2SFTP同步代码到服务器

6.3.3使用远程解释器环境

6.3.4调试JavaScript代码

6.3.5PyCharm的常用快捷键

6.3.6PyCharm数据库管理

6.3.7智能补全插件aiXcode

6.3.8PyCharm中使用Git版本管理

6.4Git教程

6.4.1Git管理模型

6.4.2仓库基础操作

6.4.3Git分支的管理

6.4.4Git标签的使用

6.4.5Git团队协作流程

6.4.6案例： 用GitHub完成团队协作

第7章Docker教程

7.1Docker的服务架构

7.1.1什么是Docker

7.1.2Docker架构模型

7.2Docker基础

7.2.1容器的应用

7.2.2镜像的应用

7.3Docker数据与网络

7.3.1数据共享与持久化

7.3.2Docker的网络模式

7.4Dockerfile的*佳实践

7.4.1一般准则和建议

7.4.2Dockerfile指令

7.4.3多阶段构建

7.4.4案例： 从Python 3解释器到项目代码的构建

7.5Docker仓库管理

7.5.1使用官方仓库Docker Hub

7.5.2搭建私有仓库Registry

7.5.3搭建企业级仓库Harbor

7.6Docker Compose的容器编排

7.6.1YAML文件格式基础

7.6.2Compose的安装与卸载

7.6.3常用的yml配置指令

7.6.4常用的Compose 命令

7.6.5Compose编排案例

7.7案例： 容器化部署爬虫项目

第8章requests教程

8.1requests基础

8.1.1requests的环境

8.1.2requests的简介

8.2Request

8.2.1Request的流程

8.2.2Request的接口

8.2.3Request控制访问参数

8.3Response

8.3.1Response对象的属性

8.3.2Response对象的方法

8.3.3响应内容

8.3.4超时、错误与异常

8.4实用函数工具

8.4.1URL处理方法

8.4.2获取字符串编码

8.4.3获取headers中的编码

8.4.4获取环境变量中的代理

8.4.5提取URL中的认证信息

8.5requests的高级用法

8.5.1会话对象

8.5.2Cookie对象

8.5.3SSL校验

8.5.4代理请求

8.5.5文件上传

8.5.6身份认证

8.6案例： POST登录与邮箱验证

8.6.1登录请求流程分析

8.6.2用POST登录获取会话

第9章Selenium教程

9.1Selenium基础

9.1.1关于Selenium

9.1.2Selenium及驱动安装

9.2浏览器的启动

9.2.1启动本地浏览器

9.2.2启动远程分布式浏览器

9.2.3启动项参数配置

9.3Selenium常用的API

9.3.1常用浏览器的操作接口

9.3.2元素对象WebElement

9.3.3键入操作与选择操作

9.3.4行为链ActionChains

9.3.5页面的Cookie处理

9.3.6内嵌框处理

9.3.7JavaScript事件

9.3.8超时问题的处理

9.4Selenium的常用操作

9.4.1识别特征处理

9.4.2配置认证代理

9.4.3响应拦截操作

9.4.4控制安卓系统上的Chrome浏览器

9.5案例： Selenium登录、滑动验证、Session请求

9.5.1需求分析

9.5.2实现流程

9.5.3编码实现

第10章多任务爬虫开发

10.1多进程

10.1.1Process类创建进程

10.1.2Process子类创建进程

10.1.3进程池

10.1.4多进程间通信

10.2多线程

10.2.1创建多线程

10.2.2锁对象与死锁

10.2.3全局解释器锁

10.3案例： 多线程图片下载爬虫

10.3.1案例分析

10.3.2编码实现

附录参考资源网址