机器学习原理及应用

第1章 机器学习概述 1

1.1 人工智能概述 1

1.1.1 人工智能发展历程 1

1.1.2 人工智能与机器学习 3

1.2 机器学习的两大学派 5

1.2.1 频率学派 6

1.2.2 贝叶斯学派 6

1.3 机器学习的三要素 7

1.3.1 数据 7

1.3.2 模型 8

1.3.3 算法 9

1.4 机器学习算法的4种类型 9

1.4.1 有监督学习算法 10

1.4.2 无监督学习算法 10

1.4.3 半监督学习算法 11

1.4.4 强化学习算法 12

1.5 机器学习的应用 13

1.5.1 计算机视觉 13

1.5.2 自然语言处理 14

1.5.3 机器人 15

习题 16

第2章 回归算法概述 17

2.1 回归算法简介 17

2.2 线性回归 19

2.2.1 算法原理 19

2.2.2 实现及参数 20

2.3 多元线性回归 24

2.3.1 算法原理 24

2.3.2 实现及参数 25

2.4 正则化回归分析 29

2.4.1 过拟合与正则化 29

2.4.2 岭回归 30

2.4.3 套索回归 32

2.4.4 弹性网络回归 33

2.5 贝叶斯模型 35

2.5.1 贝叶斯方法 35

2.5.2 贝叶斯回归 36

2.6 Softmax回归 40

2.6.1 算法原理 40

2.6.2 实现及参数 41

2.7 项目实践：航班乘客流量预测 44

习题 52

第3章 分类算法概述 53

3.1 分类算法简介 53

3.2 K近邻查询算法 54

3.2.1 算法原理 54

3.2.2 实现及参数 55

3.3 逻辑回归算法 58

3.3.1 算法原理 58

3.3.2 实现及参数 60

3.4 贝叶斯网络与朴素贝叶斯分类器 62

3.4.1 贝叶斯网络 62

3.4.2 朴素贝叶斯分类器 63

3.5 决策树算法 65

3.5.1 算法原理 66

3.5.2 选择*优特征 68

3.6 集成学习算法 69

3.6.1 随机森林算法 70

3.6.2 AdaBoost算法 71

3.7 项目实践：水果分类 73

习题 78

第4章 支持向量机概述 79

4.1 支持向量机简介 79

4.1.1 超平面与线性可分 80

4.1.2 *大化间隔 81

4.2 核函数 81

4.3 多分类处理 84

4.3.1 “1?a?r”方法 84

4.3.2 树形支持向量机多分类方法 85

4.3.3 决策树支持向量机多分类器 85

4.4 结构风险分析 85

4.5 项目实践：猫分类器 86

4.5.1 实践准备 87

4.5.2 训练模型 88

4.5.3 验证模型 90

习题 92

第5章 数据降维概述 93

5.1 数据降维简介 93

5.2 线性降维 94

5.2.1 PCA 94

5.2.2 使用*大投影方差理解PCA 97

5.2.3 使用*小重构代价理解PCA 98

5.2.4 LDA 100

5.3 非线性降维 103

5.3.1 局部线性嵌入 103

5.3.2 拉普拉斯特征映射 104

5.3.3 随机近邻嵌入 107

5.3.4 t分布随机近邻嵌入 108

5.4 自编码器 108

5.5 项目实践：自编码器 114

习题 117

第6章 聚类算法概述 118

6.1 聚类算法简介 118

6.2 基于划分的聚类算法 119

6.2.1 K均值聚类算法 119

6.2.2 EM算法 121

6.3 基于密度的聚类算法 123

6.3.1 DBSCAN算法 123

6.3.2 DPC算法 127

6.4 基于图的聚类算法 129

6.5 项目实践：人脸图像聚类 131

习题 134

第7章 深度学习概述 135

7.1 深度学习简介 135

7.2 感知器 136

7.3 人工神经网络 138

7.4 反向传播算法 139

7.5 常用的深度学习模型 144

7.5.1 CNN 144

7.5.2 RNN 148

7.5.3 GAN 152

7.6 项目实践：图片分类 154

习题 158

第8章 强化学习概述 159

8.1 强化学习简介 159

8.2 马尔可夫决策 161

8.2.1 马尔可夫性质 161

8.2.2 马尔可夫过程 161

8.2.3 马尔可夫决策过程 164

8.2.4 *优价值函数与*优策略 165

8.3 基于免模型的强化学习算法 166

8.3.1 蒙特卡罗算法 166

8.3.2 时序差分算法 167

8.4 强化学习前沿 169

8.4.1 逆向强化学习 169

8.4.2 分层强化学习 170

8.4.3 深度强化学习 171

8.5 项目实践：车杆游戏 172

习题 173

第9章 自然语言处理概述 174

9.1 自然语言处理简介 174

9.2 自然语言处理工具包和语料库 175

9.2.1 自然语言处理工具包 175

9.2.2 语料库 176

9.3 自然语言处理技术分类 177

9.3.1 自然语言处理基础技术分类 177

9.3.2 自然语言处理应用技术分类 179

9.4 Transformer 180

9.4.1 Transformer整体结构 181

9.4.2 自注意力机制 183

9.4.3 Transformer总结 187

9.5 项目实践：新闻文本分类 187

习题 190

第10章 推荐系统概述 191

10.1 推荐系统简介 191

10.1.1 什么是推荐系统 191

10.1.2 个性化推荐系统的应用 191

10.2 协同过滤推荐算法 193

10.2.1 基于用户的协同过滤推荐算法 193

10.2.2 基于物品的协同过滤推荐算法 194

10.3 因子分解机算法 195

10.3.1 FM算法的背景 195

10.3.2 FM算法的优势 195

10.3.3 FM算法的衍生算法 196

10.4 梯度提升决策树算法 196

10.4.1 回归树 196

10.4.2 梯度迭代 196

10.4.3 缩减 198

10.5 评价指标 198

10.5.1 在线评价体系 198

10.5.2 离线评价体系 199

10.6 项目实践：电影推荐系统 201

10.6.1 电影推荐系统的需求分析 201

10.6.2 系统架构的设计 201

10.6.3 推荐系统的实现 202

习题 205

参考文献 206