Python数据分析与挖掘实战

第1章 大数据采集 1

1.1 大数据分类 1

1.2 大数据采集方法 2

1.3 Python爬虫 3

1.3.1 审查元素 4

1.3.2 认识网页结构 5

1.3.3 认识robots.txt的文档 6

1.3.4 爬虫的基本原理 11

1.3.5 Python爬虫架构 11

1.3.6 用GET方式抓取数据 12

1.3.7 用POST方式抓取数据 15

1.3.8 用Beautiful Soup解析网页 17

1.3.9 Python爬虫案例 19

1.4 本章小结 25

第2章 数据预处理 26

2.1 数据清洗 26

2.1.1 缺失值处理 27

2.1.2 异常值处理 28

2.2 数据集成 30

2.3 数据转换 32

2.4 数据规约 34

2.5 Python主要数据预处理函数 35

2.6 本章小结 37

第3章 探索性数据分析 38

3.1 异常值分析 38

3.2 缺失值分析 41

3.3 分布分析 43

3.4 相关性分析 46

3.5 对比分析 48

3.6 统计量分析 48

3.7 周期性分析 51

3.8 贡献度分析 51

3.9 Python主要数据探索函数 52

3.10 本章小结 53

第4章 Sklearn估计器 54

4.1 Sklearn概述 54

4.2 使用Sklearn估计器分类 58

4.2.1 k近邻算法 59

4.2.2 管道机制 63

4.2.3 Sklearn比较分类器 65

4.3 本章小结 69

第5章 主流数据分析库 70

5.1 NumPy 70

5.2 Pandas 75

5.2.1 Pandas系列 76

5.2.2 Pandas数据帧 78

5.2.3 Pandas面板 84

5.3 SciPy 86

5.4 Matplotlib 90

5.5 本章小结 93

第6章 大数据：数据库类型 94

6.1 关系型数据库 94

6.2 关系型数据库与非关系型数据库的关系 95

6.3 SQLite 96

6.3.1 SQLite安装与配置 96

6.3.2 SQLite命令 97

6.3.3 SQLite语法 99

6.3.4 SQLite - Python 104

6.4 MySQL 111

6.4.1 MySQL安装 111

6.4.2 MySQL管理 114

6.4.3 MySQL PHP语法 116

6.4.4 PHP脚本连接MySQL 116

6.4.5 Python操作MySQL数据库 117

6.5 NoSQL数据库 123

6.5.1 NoSQL概述 123

6.5.2 列存储数据库 125

6.5.3 文档存储数据库 134

6.5.4 键值存储数据库 143

6.5.5 图存储数据库 153

6.5.6 对象存储数据库 155

6.5.7 XML数据库 155

6.6 本章小结 157

第7章 数据仓库/商业智能 158

7.1 数据仓库和商业智能简介 158

7.2 数据仓库架构 159

7.3 OLAP 160

7.4 数据集市 161

7.5 商业智能 162

7.6 本章小结 163

第8章 数据聚合与分组运算 164

8.1 GroupBy技术 164

8.1.1 通过函数进行分组 165

8.1.2 对分组进行迭代 167

8.1.3 选取一个或一组列 170

8.1.4 通过字典或Series进行分组 171

8.1.5 通过函数进行分组 172

8.1.6 根据索引级别分组 173

8.2 数据聚合 174

8.2.1 面向列的多函数应用 174

8.2.2 以无索引的方式返回聚合数据 177

8.2.3 分组级运算和转换 178

8.3 透视表和交叉表 181

8.4 本章小结 183

第9章 数据挖掘工具 184

9.1 数据挖掘工具分类 184

9.2 数据挖掘经典算法 185

9.3 免费数据挖掘工具 186

9.4 Git和GitHub项目数据挖掘工具 188

9.5 Python数据挖掘工具 190

9.5.1 Gensim 190

9.5.2 TensorFlow 194

9.5.3 Keras 197

9.6 本章小结 197

第10章 挖掘建模 198

10.1 数据挖掘建模的一般过程 198

10.2 分类与预测 199

10.3 聚类分析 200

10.4 关联分析 201

10.5 时序模式 202

10.6 离群点检测 203

10.7 本章小结 204

第11章 模型评估 205

11.1 验证 205

11.2 交叉验证 206

11.3 自助法 206

11.4 回归评估指标 207

11.5 分类评估指标 207

11.6 ROC曲线 208

11.7 本章小结 210

第12章 社会媒体挖掘 211

12.1 社会媒体与社会媒体数据 211

12.2 中国社会媒体核心用户数据分析 212

12.3 社会媒体挖掘技术与研究热点 213

12.4 社会媒体挖掘流程 214

12.5 Twitter情感分析 216

12.6 本章小结 221

第13章 图挖掘分类 222

13.1 图挖掘概述 222

13.2 图挖掘技术基础 224

13.3 网络度量 226

13.4 网络模型 229

13.5 图挖掘与知识推理 230

13.6 图挖掘算法简介 231

13.7 社区检测 232

13.7.1 模块度 233

13.7.2 社区发现算法 234

13.8 频繁子图挖掘算法gSpan的实现 237

13.9 基于networkx进行社交网络分析 239

13.10 本章小结 245

第14章 基于深度学习的验证码识别 246

14.1 获取图片验证码 246

14.2 验证码图片预处理 248

14.3 依赖TensorFlow的深度学习验证码识别 255

14.4 本章小结 259

第15章 基于深度学习的文本分类挖掘实现 260

15.1 文本分类概念 260

15.2 文本分类挖掘算法概述 261

15.3 基于传统机器学习的文本分类 262

15.4 基于深度学习的文本分类 263

15.5 本章小结 297

参考文献 298