包邮机器学习基础

第1章 导论 1
1.1 什么是机器学习 1
1.2 机器学习的基本概念 4
1.2.1 分类与回归 4
1.2.2 监督学习与无监督学习 4
1.2.3 简单模型与复杂模型 5
1.2.4 参数模型与非参数模型 8
1.2.5 过拟合与欠拟合 9
1.2.6 偏差-方差权衡 11
1.3 机器学习的一般原则 12
1.3.1 奥卡姆剃刀 12
1.3.2 没有免费午餐定理 13
1.3.3 平滑世界定律 14
1.3.4 维度灾难 16
1.4 机器学习中的高级主题 17
1.4.1 强化学习 17
1.4.2 元学习 17
1.4.3 因果推断 18
1.4.4 其他高级主题 18
练习 18
第2章 数学基础 20
2.1 线性代数 20
2.1.1 向量和矩阵 20
2.1.2 作为矩阵乘法的线性变换 21
2.1.3 基本矩阵运算 23
2.1.4 特征值和特征向量 25
2.1.5 矩阵演算 27
2.2 概率与统计 29
2.2.1 随机变量和分布 29
2.2.2 期望值：均值、方差和矩 31
2.2.3 联合、边际和条件分布 33
2.2.4 常见概率分布 37
2.2.5 随机变量的变换 44
2.3 信息论 45
2.3.1 信息和熵 46
2.3.2 互信息 48
2.3.3 KL散度 51
2.4 数学优化 54
2.4.1 一般形式 55
2.4.2 *优条件 56
2.4.3 数值优化方法 66
练习 71
第3章 监督机器学习（简介） 75
3.1 概述 75
3.2 实例探究 80
第4章 特征提取 84
4.1 特征提取：概念 84
4.1.1 特征工程 84
4.1.2 特征选择 86
4.1.3 降维 86
4.2 线性降维 87
4.2.1 主成分分析 87
4.2.2 线性判别分析 93
4.3 非线性降维（I）：流形学习 96
4.3.1 局部线性嵌入 96
4.3.2 多维缩放 98
4.3.3 随机邻域嵌入 99
4.4 非线性降维（II）：神经网络 100
4.4.1 自编码器 100
4.4.2 瓶颈特征 101
实验室项目一 101
练习 102
判 别 模 型
第5章 统计学习理论 105
5.1 判别模型的制定 105
5.2 可学习性 107
5.3 泛化边界 108
5.3.1 有限模型空间：| | 108
5.3.2 无限模型空间：VC维 110
练习 113
第6章 线性模型 115
6.1 感知机 116
6.2 线性回归 120
6.3 *小分类误差 121
6.4 逻辑回归 123
6.5 支持向量机 125
6.5.1 线性支持向量机 125
6.5.2 软支持向量机 132
6.5.3 非线性支持向量机：核技巧 133
6.5.4 求解二次规划 136
6.5.5 多类支持向量机 138
实验室项目二 139
练习 140
第7章 学习通用判别模型 142
7.1 学习判别模型的通用框架 142
7.1.1 机器学习中的常见损失函数 144
7.1.2 基于 范数的正则化 146
7.2 岭回归与LASSO 148
7.3 矩阵分解 150
7.4 字典学习 155
实验室项目三 158
练习 159
第8章 神经网络 161
8.1 人工神经网络 162
8.1.1 人工神经网络的基本公式 163
8.1.2 数学证明：通用近似 165
8.2 神经网络结构 167
8.2.1 连接层的基本构造块 167
8.2.2 案例分析一：完全连接深度神经网络 176
8.2.3 案例分析二：卷积神经网络 178
8.2.4 案例分析三：递归神经网络 182
8.2.5 案例分析四：transformer 184
8.3 神经网络的学习算法 187
8.3.1 损失函数 187
8.3.2 自动微分法 188
8.3.3 随机梯度下降优化 201
8.4 优化的启发式和技巧 203
8.4.1 其他随机梯度下降变量优化方法：ADAM 204
8.4.2 正则化 207
8.4.3 微调技巧 209
8.5 端到端学习 210
实验室项目四 212
练习 213
第9章 集成学习 215
9.1 整体学习的模拟 215
9.2 袋装法 221
9.3 提升法 222
9.3.1 梯度提升 223
9.3.2 AdaBoost 225
9.3.3 梯度树提升法 228
实验室项目五 230
练习 230
生 成 模 型
第10章 生成模型概述 233
10.1 生成模型的形成 233
10.2 贝叶斯决策理论 235
10.2.1 分类生成模型 235
10.2.2 回归生成模型 240
10.3 统计数据建模 241
10.4 密度估计 244
10.4.1 *大似然估计 244
10.4.2 *大似然分类器 247
10.5 生成模型（概括） 247
练习 249
第11章 单峰模型 251
11.1 高斯模型 252
11.2 多项式模型 256
11.3 马尔可夫链模型 258
11.4 广义线性模型 263
11.4.1 概率回归 264
11.4.2 泊松回归 265
11.4.3 对数线性模型 266
练习 268
第12章 混合模型 270
12.1 构建混合模型 271
12.1.1 指数族（e族） 272
12.1.2 混合模型的形式化定义 274
12.2 期望*大化方法 275
12.2.1 辅助函数：消除对数和 275
12.2.2 期望*大化算法 279
12.3 高斯混合模型 282
12.4 隐马尔可夫模型 286
12.4.1 马尔可夫模型：序列的混合模型 286
12.4.2 评估问题：前向后退算法 292
12.4.3 解码问题：维特比算法 296
12.4.4 训练问题：马尔可夫算法 298
实验项目六 305
练习 306
第13章 纠缠模型 309
13.1 纠缠模型的形成 309
13.1.1 纠缠模型框架 310
13.1.2 一般纠缠模型的学习 312
13.2 线性高斯模型 314
13.2.1 概率PCA 315
13.2.2 因素分析 316
13.3 非高斯模型 318
13.3.1 独立成分分析（ICA） 318
13.3.2 独立因素分析（IFA） 320
13.3.3 混合正交投影与估计（HOPE） 320
13.4 深度生成模型 321
13.4.1 变分自编码器（VAE） 322
13.4.2 生成式对抗网络（GAN） 326
练习 327
第14章 贝叶斯学习 329
14.1 构建贝叶斯学习 329
14.1.1 贝叶斯推理 331
14.1.2 *大化后验估计 332
14.1.3 顺序贝叶斯学习 333
14.2 共轭先验 336
14.3 近似推理 342
14.3.1 拉普拉斯方法 343
14.3.2 变分贝叶斯（VB）方法 345
14.4 高斯过程 351
14.4.1 高斯过程作为非参数先验 351
14.4.2 回归高斯过程 354
14.4.3 分类高斯过程 357
练习 358
第15章 图模型 360
15.1 图模型概念 360
15.2 贝叶斯网络 364
15.2.1 条件独立 364
15.2.2 用贝叶斯网络表示生成模型 371
15.2.3 学习贝叶斯网络 375
15.2.4 推理算法 377
15.2.5 案例研究一：朴素贝叶斯分类器 383
15.2.6 案例研究二：潜在狄利克雷分配 384
15.3 马尔可夫随机场 387
15.3.1 等式：势函数和配分函数 387
15.3.2 案例研究三：条件随机场 390
15.3.3 案例研究四：限制玻尔兹曼机器 392
练习 394
附录A 396
参考文献