机器学习(全彩图解 + 微课 + Python编程)(鸢尾花数学大系:从加减乘除到机器学习)

Contents
目录 绪论 1

第 1章 机器学习 7
1.1 什么是机器学习? 8
1.2 回归：找到自变量与因变量关系 10
1.3 分类：针对有标签数据 14
1.4 降维：降低数据维度，提取主要特征 16
1.5 聚类：针对无标签数据 20
1.6 机器学习流程 21
1.7 下一步学什么？ 24

第 2章 回归分析 27
2.1 线性回归：一个表格、一条直线 29
2.2 方差分析 (ANOVA) 32
2.3 总离差平方和 (SST) 35
2.4 回归平方和 (SSR) 37
2.5 残差平方和 (SSE) 38
2.6 几何视角：勾股定理 40
2.7 拟合优度：评价拟合程度 42
2.8 F 检验：模型参数不全为 0 44
2.9 t 检验：某个回归系数是否为 0 46
2.10 置信区间：因变量均值的区间 50
2.11 预测区间：因变量特定值的区间 51
2.12 对数似然函数：用在*大似然估计 (MLE) 51
2.13 信息准则：选择模型的标准 52
2.14 残差分析：假设残差服从均值为 0 的正态分布 53
2.15 自相关检测：Durbin-Watson 54
2.16 条件数：多重共线性 55 第 3章 多元线性回归 57
3.1 多元线性回归 58
3.2 优化问题：OLS 60
3.3 几何解释：投影 63
3.4 二元线性回归实例 65
3.5 多元线性回归实例 68
3.6 正交关系 72
3.7 三个平方和 75
3.8 t 检验 77
3.9 多重共线性 78
3.10 条件概率视角看多元线性回归 80 第4章 非线性回归 85
4.1 线性回归 86
4.2 线性对数模型 88
4.3 非线性回归 90
4.4 多项式回归 92
4.5 逻辑回归 97
4.6 逻辑函数完成分类问题 102 第 5章 正则化回归 109
5.1 正则化：抑制过拟合 110
5.2 岭回归 113
5.3 几何角度看岭回归 119
5.4 套索回归 121
5.5 几何角度看套索回归 123
5.6 弹性网络回归 127 第 6章 贝叶斯回归 133
6.1 回顾贝叶斯推断 134
6.2 贝叶斯回归：无信息先验 137
6.3 使用 PyMC 完成贝叶斯回归 137
6.4 贝叶斯视角理解岭正则化 142
6.5 贝叶斯视角理解套索正则化 144 第 7章 高斯过程 149
7.1 高斯过程原理 150
7.2 解决回归问题 156
7.3 解决分类问题 157
第8章 k*近邻分类 163
8.1 k *近邻分类原理：近朱者赤，近墨者黑 164
8.2 二分类：非红，即蓝 166
8.3 三分类：非红，要么蓝，要么灰 168
8.4 近邻数量 k 影响投票结果 170
8.5 投票权重：越近，影响力越高 173
8.6 *近质心分类：分类边界为中垂线 174
8.7 k-NN 回归：非参数回归 177 第 9章 朴素贝叶斯分类 181
9.1 重逢贝叶斯 182
9.2 朴素贝叶斯的“朴素 ”之处 186
9.3 高斯，你好 198 第 10章 高斯判别分析 213
10.1 又见高斯 214
10.2 六类协方差矩阵 217
10.3 决策边界解析解 219
10.4 **类 221
10.5 第二类 224
10.6 第三类 226
10.7 第四类 227
10.8 第五类 228
10.9 第六类 229
10.10 线性和二次判别分析 230 第 11章 支持向量机 235
11.1 支持向量机 236
11.2 硬间隔：处理线性可分 240
11.3 构造优化问题 245
11.4 支持向量机处理二分类问题 248
11.5 软间隔：处理线性不可分 252 第 12章 核技巧 257
12.1 映射函数：实现升维 258
12.2 核技巧 SVM 优化问题 261
12.3 线性核：*基本的核函数 266
12.4 多项式核 268
12.5 二次核：二次曲面 271
12.6 三次核：三次曲面 273
12.7 高斯核：基于径向基函数 275
12.8 Sigmoid 核 280 第 13章 决策树 285
13.1 决策树：可以分类，也可以回归 286
13.2 信息熵：不确定性度量 288
13.3 信息增益：通过划分，提高确定度 290
13.4 基尼指数：指数越大，不确定性越高 292
13.5 *大叶节点：影响决策边界 293
13.6 *大深度：控制树形大小 297

第 14章 主成分分析 303
14.1 主成分分析 304
14.2 原始数据 307
14.3 特征值分解 310
14.4 正交空间 312
14.5 投影结果 316
14.6 还原 320
14.7 双标图 323
14.8 陡坡图 327
第 15章 截断奇异值分解 331
15.1 几何视角看奇异值分解 332
15.2 四种 SVD 分解 334
15.3 几何视角看截断型 SVD 336
15.4 优化视角看截断型 SVD 339
15.5 分析鸢尾花照片 343 第 16章 主成分分析进阶 351
16.1 从“六条技术路线 ”说起 352
16.2 协方差矩阵：中心化数据 355
16.3 格拉姆矩阵：原始数据 363
16.4 相关性系数矩阵：标准化数据 368 第 17章 主成分分析与回归 375
17.1 正交回归 376
17.2 一元正交回归 378
17.3 几何角度看正交回归 382
17.4 二元正交回归 385
17.5 多元正交回归 389
17.6 主元回归 393
17.7 偏*小二乘回归 405 第 18章 核主成分分析 413
18.1 核主成分分析 414
18.2 从主成分分析说起 415
18.3 用核技巧完成核主成分分析 418 第 19章 典型相关分析 427
19.1 典型相关分析原理 428
19.2 从一个协方差矩阵考虑 432
19.3 以鸢尾花数据为例 434
第 20章 K均值聚类 443
20.1 K 均值聚类 444
20.2 优化问题 445
20.3 迭代过程 448
20.4 肘部法则：选定聚类簇值 450
20.5 轮廓图：选定聚类簇值 452
20.6 沃罗诺伊图 454 第 21章 高斯混合模型 457
21.1 高斯混合模型 458
21.2 四类协方差矩阵 464
21.3 分量数量 469
21.4 硬聚类和软聚类 471 第 22章 *大期望算法 475
22.1 *大期望 476
22.2 E 步：*大化期望 477
22.3 M 步：*大化似然概率 480
22.4 迭代过程 482
22.5 多元 GMM 迭代 486 第 23章 层次聚类 495
23.1 层次聚类 496
23.2 树形图 497
23.3 簇间距离 503
23.4 亲近度层次聚类 509 第 24章 密度聚类 511
24.1 DBSCAN 聚类 512
24.2 调节参数 515 第 25章 谱聚类 519
25.1 谱聚类 520
25.2 距离矩阵 521
25.3 相似度 524
25.4 无向图 525
25.5 拉普拉斯矩阵 527
25.6 特征值分解 530
参考文献 535