机器学习入门

译者序

原书序

原书前言

第1章 机器学习与贝叶斯学习 1

1.1 什么是机器学习? 1

1.2 机器学习的典型任务 2

1.2.1 回归 2

1.2.2 分类 3

1.2.3 聚类 4

1.2.4 降维 4

1.2.5 其他典型任务 6

1.3 机器学习的两类方法 6

1.3.1 基于工具箱的机器学习 6

1.3.2 基于建模的机器学习 7

1.4 概率的基本计算 8

1.4.1 概率分布 8

1.4.2 概率分布的推定 9

1.4.3 红球和白球问题 11

1.4.4 多个观测数据 13

1.4.5 逐次推论 15

1.4.6 参数未知的情况 15

1.5 图模型 16

1.5.1 有向图 17

1.5.2 节点的附加条件 18

1.5.3 马尔可夫覆盖 20

1.6 贝叶斯学习方法 20

1.6.1 模型的构建和推论 20

1.6.2 各类任务中的贝叶斯推论 21

1.6.3 复杂后验分布的近似 24

1.6.4 基于不确定性的决策 25

1.6.5 贝叶斯学习的优点与缺点 26

第2章 基本的概率分布 30

2.1 期望值30

2.1.1 期望值的定义 30

2.1.2 基本的期望值 30

2.1.3 熵 31

2.1.4 KL散度 32

2.1.5 抽样的期望值近似计算 32

2.2 离散概率分布33

2.2.1 伯努利分布 33

2.2.2 二项分布 35

2.2.3 类分布 36

2.2.4 多项分布 37

2.2.5 泊松分布 38

2.3 连续概率分布40

2.3.1 Beta分布 40

2.3.2 Dirichlet分布 41

2.3.3 Gamma分布 43

2.3.4 一维高斯分布 44

2.3.5 多维高斯分布 45

2.3.6 Wishart分布 48

第3章 基于贝叶斯推论的学习和预测 51

3.1 学习和预测51

3.1.1 参数的后验分布 51

3.1.2 预测分布 523.1.3 共轭先验分布 53

3.1.4 非共轭先验分布的运用 54

3.2 离散概率分布的学习和预测55

3.2.1 伯努利分布的学习和预测 55

3.2.2 类分布的学习和预测 59

3.2.3 泊松分布的学习和预测 61

3.3 一维高斯分布的学习和预测63

3.3.1 均值未知的情况 63

3.3.2 精度未知的情况 66

3.3.3 均值和精度均未知的情况 68

3.4 多维高斯分布的学习和预测71

3.4.1 均值未知的情况 71

3.4.2 精度未知的情况 73

3.4.3 均值和精度均未知的情况 75

3.5 线性回归的例子77

3.5.1 模型的构建 77

3.5.2 后验分布和预测分布的计算 78

3.5.3 模型的比较 80

第4章 混合模型和近似推论 84

4.1 混合模型和后验分布的推论84

4.1.1 使用混合模型的理由 84

4.1.2 混合模型的数据生成过程 85

4.1.3 混合模型的后验分布 87

4.2 概率分布的近似方法88

4.2.1 吉布斯采样 88

4.2.2 变分推论 90

4.3 泊松混合模型的推论93

4.3.1 泊松混合模型 93

4.3.2 吉布斯采样 94

4.3.3 变分推论 97

4.3.4 折叠式吉布斯采样 100

4.3.5 简易实验 105

4.4 高斯混合模型中的推论106

4.4.1 高斯混合模型 106

4.4.2 吉布斯采样 107

4.4.3 变分推论 110

4.4.4 折叠式吉布斯采样 113

4.4.5 简易实验 115

第5章 应用模型的构建和推论 119

5.1 线性降维119

5.1.1 模型 120

5.1.2 变分推论 120

5.1.3 数据的不可逆压缩 123

5.1.4 缺失值内插 124

5.2 非负值矩阵因子分解126

5.2.1 模型 127

5.2.2 变分推论 129

5.3 隐马尔可夫模型132

5.3.1 模型 133

5.3.2 完全分解变分推论 135

5.3.3 结构化变分推论 139

5.4 主题模型143

5.4.1 模型 143

5.4.2 变分推论 146

5.4.3 折叠式吉布斯采样 148

5.4.4LDA模型的应用与扩展 151

5.5 张量分解151

5.5.1 协同过滤 1525.5.2 模型 154

5.5.3 变分推论 155

5.5.4 缺失值的内插 160

5.6 logistic回归161

5.6.1 模型 161

5.6.2 变分推论 162

5.6.3 离散值的预测 165

5.7 神经网络166

5.7.1 模型 167

5.7.2 变分推论 168

5.7.3 连续值的预测 169

附录A 相关计算的补充 171

A.1 基本的矩阵计算171

A.1.1 转置 171

A.1.2 逆矩阵 171

A.1.3 矩阵的迹 172

A.1.4 方阵的行列式 172

A.1.5 正定值矩阵 172

A.2 特殊函数173

A.2.1gamma函数和digamma函数 173

A.2.2sigmoid函数和softmax函数 173

A.3 梯度法174

A.3.1 函数的梯度 174

A.3.2 *速下降法 175

A.3.3 坐标下降法 175

A.4 边缘似然度下限176

A.4.1 边缘似然度和ELBO 176

A.4.2 泊松混合分布的例子 177

参考文献 178