PYTHON数据分析(第3版)

第 1 部分 数据基础

第 1 章 Python 库入门 2

1.1 理解数据分析 3

1.2 数据分析的标准流程 4

1.3 KDD 流程 4

1.4 SEMMA 流程 5

1.5 CRISP-DM 6

1.6 数据分析与数据科学的比较 7

1.7 数据分析师和数据科学家应掌握的工具和技能 8

1.8 Python 3 的安装 9

1.8.1 在 Windows 操作系统中安装 Python 3 10

1.8.2 在 Linux 操作系统中安装Python 3 10

1.8.3 使用安装文件在 macOS中安装 Python 3 10

1.8.4 使用 brew 命令在 macOS中安装 Python 3 10

1.9 使用 Anaconda 11

1.10 使用 IPython 12

1.10.1 使用帮助功能 13

1.10.2 查找 Python 库的参考资料 14

1.11 使用 JupyterLab 14

1.12 使用 Jupyter Notebook 15

1.13 Jupyter Notebook 的高级功能 16

1.13.1 快捷命令 16

1.13.2 安装其他内核 16

1.13.3 执行 shell 命令 17

1.13.4 Jupyter Notebook 的扩展 17

1.14 总结 21

第 2 章 NumPy 和 pandas 22

2.1 技术要求 23

2.2 了解 NumPy 数组 23

2.2.1 数组特征 25

2.2.2 选择数组元素 26

2.3 NumPy 数组中数值的数据类型 27

2.3.1 dtype 对象 29

2.3.2 数据类型字符代码 30

2.3.3 dtype()构造函数 30

2.3.4 dtype 属性 31

2.4 NumPy 数组的操作 31

2.5 NumPy 数组的堆叠 33

2.6 拆分 NumPy 数组 36

2.7 改变 NumPy 数组的数据类型 37

2.8 创建 NumPy 视图和副本 38

2.9 NumPy 数组的切片 40

2.10 布尔索引和花式索引 41

2.11 广播数组 42

2.12 创建 DataFrame 对象 44

2.13 理解 Series 数据结构 45

2.14 读取和查询 Quandl数据包 48

2.15 DataFrame 对象的统计函数 51

2.16 DataFrame 对象的分组和连接 53

2.17 处理缺失值 56

2.18 创建数据透视表 57

2.19 处理日期 58

2.20 总结 60

第 3 章 统计学 61

3.1 技术要求 62

3.2 数据的属性及其类型 62

3.2.1 属性类型 62

3.2.2 离散和连续属性 63

3.3 测量集中趋势 63

3.3.1 平均值 63

3.3.2 众数 64

3.3.3 中位数 65

3.4 测量分散 65

3.5 偏度和峰度 67

3.6 使用协方差和相关系数理解关系 68

3.6.1 皮尔逊相关系数 68

3.6.2 斯皮尔曼等级相关系数 69

3.6.3 肯德尔等级相关系数 69

3.7 中心极限定理 69

3.8 收集样本 70

3.9 参数检验 71

3.10 非参数检验 76

3.11 总结 80

第 4 章 线性代数 81

4.1 技术要求 82

4.2 用 NumPy 库进行多项式拟合 82

4.3 行列式 83

4.4 求解矩阵的秩 83

4.5 使用 NumPy 库求逆矩阵 84

4.6 使用 NumPy 库求解线性方程 85

4.7 使用 SVD 分解矩阵 85

4.8 特征向量和特征值 86

4.9 生成随机数 87

4.10 二项分布 88

4.11 正态分布 89

4.12 用 SciPy 库测试数据的正态性 90

4.13 使用 numpy.ma 子程序包创建掩码数组 93

4.14 总结 94

第 2 部分 探索性数据分析和数据清洗

第 5 章 数据可视化 96

5.1 技术要求 96

5.2 使用 Matplotlib 库实现数据可视化 96

5.2.1 图的附件 98

5.2.2 散点图 99

5.2.3 折线图 100

5.2.4 饼图 101

5.2.5 柱状图 102

5.2.6 直方图 103

5.2.7 气泡图 104

5.2.8 使用 pandas 库绘图 106

5.3 使用 Seaborn 库实现高级的数据可视化 108

5.3.1 lm 图 108

5.3.2 柱状图 110

5.3.3 分布图 111

5.3.4 箱形图 112

5.3.5 KDE 图 112

5.3.6 小提琴图 113

5.3.7 计数图 114

5.3.8 联合图 115

5.3.9 热力图 116

5.3.10 配对图 117

5.4 使用 Bokeh 库实现交互式数据可视化 118

5.4.1 绘制简单的图 119

5.4.2 标志符 120

5.4.3 布局 121

5.4.4 多重图 124

5.4.5 交互 125

5.4.6 注释 128

5.4.7 悬停工具 129

5.4.8 小部件 131

5.5 总结 135

第 6 章 数据的检索、处理和存储 136

6.1 技术要求 137

6.2 用 NumPy 库读取和写入 CSV文件 137

6.3 用 pandas 库读取和写入 CSV文件 138

6.4 Excel 文件的数据读取和写入 139

6.5 JSON 文件的数据读取和写入 140

6.6 HDF5 文件的数据读取和写入 141

6.7 HTML 表的数据读取和写入 142

6.8 Parquet 文件的数据读取和写入 142

6.9 pickle 文件的数据读取和写入 143

6.10 用 SQLite3 库进行轻量级访问 144

6.11 MySQL 数据库的数据读取和写入 145

6.12 MongoDB 数据库的数据读取和写入 148

6.13 Cassandra 数据库的数据读取和写入 149

6.14 Redis 数据库的数据读取和写入 150

6.15 PonyORM 151

6.16 总结 152

第 7 章 清洗混乱的数据 153

7.1 技术要求 154

7.2 探索数据 154

7.3 过滤数据 156

7.3.1 列式过滤 157

7.3.2 行式过滤 158

7.4 处理缺失值 161

7.4.1 删除缺失值 161

7.4.2 填补缺失值 162

7.5 处理异常值 164

7.6 特征编码 165

7.6.1 独热编码 166

7.6.2 标签编码 167

7.6.3 顺序编码 168

7.7 特征缩放 169

7.8 特征转换 171

7.9 特征分割 173

7.10 总结 173

第 8 章 信号处理和时间序列分析 174

8.1 技术要求 175

8.2 Statsmodels 库 175

8.3 移动平均数 175

8.4 窗口函数 177

8.5 协整法 179

8.6 STL 分解 181

8.7 自相关 182

8.8 自回归模型 184

8.9 ARMA 模型 186

8.10 生成周期性信号 188

8.11 傅里叶分析 191

8.12 频谱分析滤波 192

8.13 总结 194

第 3 部分 深入研究机器学习

第 9 章 监督学习——回归分析 196

9.1 技术要求 197

9.2 线性回归 197

9.3 多重共线性 198

9.4 虚拟变量 200

9.5 建立线性回归模型 201

9.6 评估回归模型的性能 203

9.6.1 决定系数 203

9.6.2 均方误差 203

9.6.3 平均绝对误差 204

9.6.4 均方根误差 204

9.7 拟合多项式回归 205

9.8 分类回归模型 207

9.9 逻辑回归 207

9.9.1 逻辑回归模型的特点 208

9.9.2 逻辑回归算法的类型 209

9.9.3 逻辑回归模型的优缺点 209

9.10 使用 Scikit-learn 库实现逻辑回归 209

9.11 总结 211

第 10 章 监督学习——分类技术 212

10.1 技术要求 213

10.2 分类 213

10.3 朴素贝叶斯分类 214

10.4 决策树分类 217

10.5 k 近邻分类 219

10.6 支持向量机分类 221

10.7 拆分训练集和测试集 223

10.7.1 Holdout 法 223

10.7.2 k 折交叉验证法 224

10.7.3 Bootstrap 法 224

10.8 分类模型的性能评估指标 225

10.8.1 混淆矩阵 225

10.8.2 准确率 227

10.8.3 精确度 227

10.8.4 召回率 228

10.8.5 F1值 228

10.9 ROC 曲线和 AUC 229

10.10 总结 230

第 11 章 无监督学习——PCA 和聚类 231

11.1 技术要求 232

11.2 无监督学习 232

11.3 降低数据的维度 232

11.4 聚类 236

11.5 使用 k 均值聚类法对数据进行分区 241

11.6 层次聚类 243

11.7 DBSCAN 方法 246

11.8 谱聚类 248

11.9 评估聚类性能 250

11.9.1 内部性能评估 251

11.9.2 外部性能评估 252

11.10 总结 255

第 4 部分 NLP、图像分析和并行计算

第 12 章 分析文本数据 258

12.1 技术要求 259

12.2 安装 NLTK 和 SpaCy 259

12.3 文本规范化 260

12.4 标记化 260

12.5 去除停用词 263

12.6 词干提取和词形还原 265

12.7 POS 标签 266

12.8 识别实体 268

12.9 依赖解析 269

12.10 创建词云 269

12.11 词包 271

12.12 TF-IDF 272

12.13 使用文本分类进行情感分析 272

12.13.1 使用 BoW 进行分类 273

12.13.2 使用 TF-IDF 进行分类 276

12.14 文本相似性 279

12.14.1 Jaccard 相似性 280

12.14.2 余弦相似性 280

12.15 总结 281

第 13 章 分析图像数据 282

13.1 技术要求 283

13.2 安装 OpenCV 283

13.3 了解图像数据 283

13.3.1 二进制图像 284

13.3.2 灰度图像 284

13.3.3 彩色图像 285

13.4 颜色模型 285

13.5 在图像上绘图 288

13.6 在图像上书写 292

13.7 调整图像的大小 293

13.8 翻转图像 295

13.9 改变亮度 297

13.10 模糊图像 298

13.11 人脸检测 301

13.12 总结 304

第 14 章 使用 Dask 进行并行计算 305

14.1 认识 Dask 306

14.2 Dask 数据类型 307

14.2.1 Dask 数组 307

14.2.2 Dask DataFrame 308

14.2.3 Dask Bag 313

14.3 Dask 延迟 315

14.4 规模化的数据预处理 317

14.4.1 Dask 中的特征缩放 317

14.4.2 Dask 中的特征编码 319

14.5 规模化的机器学习 321

14.5.1 使用 Scikit-learn 进行并行计算 321

14.5.2 为 Dask 重新实现机器学习算法 323

14.6 总结 326