机器学习实用教程(微课版)

目录

第1章机器学习概述1

1.1机器学习的定义1

1.2机器学习的发展历史3

1.3机器学习的主要分支5

1.3.1监督学习5

1.3.2无监督学习7

1.3.3半监督学习8

1.3.4强化学习9

1.3.5深度学习10

1.4机器学习的应用12

1.4.1大数据分析12

1.4.2计算机视觉12

1.4.3自然语言处理13

1.4.4推荐系统13

1.5机器学习与其他学科的关系13

1.5.1与概率统计、矩阵计算、*优化的关系14

1.5.2与人工智能、大数据、数据科学之间的关系14

1.6总结15

1.7习题15

参考文献16

第2章线性回归17

2.1一元线性回归18

2.2多元线性回归21

2.2.1模型及求解21

2.2.2多元线性回归应用举例22

2.2.3解释线性回归模型24

2.3线性回归的正则化25

2.3.1Lasso26

2.3.2Lasso的应用举例28

2.4弹性网29机器学习实用教程(微课版)目录2.5总结31

2.6习题31

参考文献31

第3章感知机33

3.1分类的定义及应用33

3.2评价分类模型的指标34

3.3感知机原理37

3.3.1感知机的结构38

3.3.2感知机模型的数学表示38

3.3.3感知机算法41

3.4多层感知机44

3.4.1认知机44

3.4.2神经认知机45

3.5实例应用46

3.5.1感知机对线性可分数据集进行分类47

3.5.2感知机对线性不可分数据集进行分类47

3.5.3用多层感知机进行图像分类47

3.6总结49

3.7习题49

参考文献50

第4章logistic回归51

4.1线性回归与logistic回归的关系51

4.2从统计的角度建立logistic回归模型54

4.3训练logistic回归模型54

4.3.1拉格朗日法55

4.3.2梯度下降法55

4.4logistic回归模型的三种解释58

4.4.1基于概率的解释58

4.4.2基于*大熵原理的解释58

4.4.3基于贝叶斯原理的解释60

4.5logistic回归模型应用举例61

4.6softmax回归模型63

4.7总结64

4.8习题64

参考文献65

第5章贝叶斯分类66

5.1高斯判别分析68

5.2朴素贝叶斯70

5.3改进的朴素贝叶斯74

5.4总结75

5.5习题75

参考文献76

第6章决策树78

6.1决策树的基本概念78

6.2构建决策树82

6.2.1不纯度函数的定义82

6.2.2常用不纯度函数83

6.3典型的决策树算法85

6.3.1CART算法86

6.3.2ID3算法86

6.4决策树的构建策略及预测87

6.5决策树的停止标准与剪枝技术87

6.5.1停止标准88

6.5.2剪枝技术88

6.6决策树的优缺点90

6.7总结91

6.8习题91

参考文献92

第7章集成学习93

7.1集成学习的基本原理93

7.2AdaBoost95

7.2.1AdaBoost算法的实现96

7.2.2AdaBoost示例98

7.2.3用*优化的观点解释AdaBoost99

7.3随机森林101

7.4总结104

7.5习题104

参考文献105

第8章k近邻算法107

8.1引言107

8.2k近邻算法的原理及应用108

8.2.1k近邻算法的工作原理109

8.2.2k近邻算法在图像检索中的应用111

8.2.3k近邻算法的优缺点113

8.3近似*近邻算法113

8.3.1KD树算法113

8.3.2KD树算法的实现114

8.4k近邻算法的应用117

8.5总结120

8.6习题120

参考文献120

第9章主成分分析122

9.1维度灾难122

9.2相关特征与冗余特征124

9.3主成分分析的原理127

9.3.1用回归的观点解释PCA128

9.3.2用消除相关性来解释PCA128

9.3.3图像数据的降维处理130

9.3.4主成分分析在数据分析中的应用131

9.4总结133

9.5习题133

参考文献133

第10章无监督学习135

10.1无监督学习概述135

10.2聚类算法136

10.2.1聚类算法概述136

10.2.2聚类算法的评价指标137

10.3kmeans聚类算法141

10.3.1kmeans聚类算法原理141

10.3.2kmeans聚类算法的示例143

10.3.3改进的kmeans聚类算法146

10.4谱聚类算法150

10.4.1谱聚类算法的原理151

10.4.2谱聚类算法的实现155

10.4.3谱聚类算法的缺点156

10.5总结156

10.6习题157

参考文献157

附录A用Boston数据集解释简单线性回归158

附录B多元线性回归应用159

附录C岭回归应用160

附录D感知机对线性可分数据集的分类161

附录E多层感知机的实现163

附录Flogistic回归的实现164