机器学习入门基础(微课版)

目录

第1章引言1

1.1机器学习概述1

1.2机器学习发展史2

1.3机器学习的类型5

1.3.1监督学习5

1.3.2无监督学习7

1.3.3强化学习8

1.4机器学习的主要概念9

1.4.1模型9

1.4.2损失函数9

1.4.3优化算法10

1.4.4模型评估10

1.5机器学习的背景知识11

1.5.1数学基础11

1.5.2编程基础11

1.6机器学习的开发流程12

1.7本书概述13

1.7.1本书结构13

1.7.2学习路线14

习题14

参考文献16

第2章数学基础回顾(选修)17

2.1数学基础的必要性17

2.1.1数学基础概述17

2.1.2符号定义17

2.2高等数学18

2.2.1导数的定义18〖3〗机器学习入门基础（微课版）目录〖3〗2.2.2左右导数的几何意义和物理意义18

2.2.3函数的可导性与连续性之间的关系19

2.2.4平面曲线的切线和法线19

2.2.5四则运算法则19

2.2.6基本导数与微分表19

2.2.7复合函数、反函数、隐函数及参数方程所确定的函数的微分法20

2.2.8常用高阶导数公式20

2.2.9微分中值定理21

2.2.10泰勒公式21

2.2.11函数单调性的判断22

2.2.12函数凹凸性的判断23

2.3线性代数23

2.3.1基本概念23

2.3.2矩阵乘法24

2.3.3向量向量乘法25

2.3.4矩阵向量乘法25

2.3.5矩阵矩阵乘法26

2.3.6单位矩阵和对角矩阵27

2.3.7矩阵的转置28

2.3.8对称矩阵28

2.3.9矩阵的迹28

2.3.10矩阵求导常见公式29

2.3.11范数29

2.3.12线性相关性和秩30

2.3.13方阵的逆31

2.3.14正交阵31

2.3.15行列式31

2.3.16二次型和半正定矩阵32

2.3.17特征值和特征向量33

2.4概率论与数理统计34

2.4.1概率的基本要素34

2.4.2条件概率和独立性35

2.4.3随机变量35

2.4.4累积分布函数36

2.4.5概率质量函数37

2.4.6概率密度函数37

2.4.7期望38

2.4.8方差38

2.4.9一些常见的随机变量39

2.4.10联合分布和边缘分布41

2.4.11条件概率分布41

2.4.12贝叶斯定理41

2.4.13独立性42

2.4.14期望和协方差42

2.4.15KL散度43

2.5优化理论43

2.5.1梯度下降法43

2.5.2牛顿法44

2.5.3拉格朗日乘子法45

习题46

参考文献48

第3章机器学习库Scikitlearn49

3.1背景知识49

3.2Scikitlearn概述50

3.3Scikitlearn主要用法51

3.3.1基本建模流程51

3.3.2数据预处理53

3.3.3监督学习算法55

3.3.4无监督学习算法56

3.3.5评价指标57

3.3.6交叉验证及超参数调优58

3.4Scikitlearn总结60

习题60

参考文献62

第4章回归63

4.1线性回归63

4.1.1符号定义63

4.1.2背景知识66

4.1.3线性回归求解66

4.2*小二乘法66

4.3梯度下降67

4.3.1批梯度下降68

4.3.2随机梯度下降68

4.3.3小批量梯度下降69

4.3.4梯度下降的数学推导69

4.3.5梯度下降与*小二乘法比较70

4.4数据规范化70

4.4.1数据规范化概述70

4.4.2数据规范化的主要方式71

4.4.3数据规范化的适用范围71

4.5正则化72

4.5.1过拟合和欠拟合72

5.5.2过拟合的处理72

4.5.3欠拟合的处理73

4.5.4正则化的主要形式73

4.6回归的评价指标74

习题76

参考文献78

第5章逻辑回归79

5.1分类问题79

5.2Sigmoid函数80

5.2.1Sigmoid函数概述80

5.2.2Sigmoid函数的特点80

5.2.3Sigmoid函数的原理81

5.3逻辑回归82

5.3.1逻辑回归算法思想82

5.3.2逻辑回归的原理82

5.4逻辑回归算法总结85

习题86

参考文献88

第6章朴素贝叶斯89

6.1贝叶斯方法89

6.1.1先验概率、后验概率、联合分布89

6.1.2判别模型和生成模型90

6.2朴素贝叶斯原理90

6.2.1朴素贝叶斯概述90

6.2.2拉普拉斯平滑91

6.2.3朴素贝叶斯公式推导92

6.2.4朴素贝叶斯案例93

6.3朴素贝叶斯分类算法总结95

习题95

参考文献97

第7章机器学习实践99

7.1数据集划分99

7.1.1训练集、验证集和测试集划分99

7.1.2交叉验证100

7.1.3不平衡数据处理101

7.2评价指标103

7.2.1回归的评价指标103

7.2.2分类的评价指标103

7.2.3评价指标案例106

7.3正则化、偏差和方差107

7.3.1欠拟合和过拟合107

7.3.2正则化107

7.3.3偏差和方差109

习题111

参考文献113

第8章KNN算法115

8.1距离度量115

8.1.1欧几里得距离115

8.1.2曼哈顿距离116

8.1.3切比雪夫距离116

8.1.4闵可夫斯基距离117

8.1.5汉明距离117

8.1.6余弦相似度118

8.2KNN算法简介119

8.2.1KNN算法概述119

8.2.2KNN算法流程120

8.3KD树划分120

8.3.1KD树概述120

8.3.2KD树划分案例121

8.4KD树搜索124

8.4.1KD树搜索概述124

8.4.2KD树搜索案例125

习题126

参考文献128

第9章决策树129

9.1决策树原理129

9.1.1决策树概述129

9.1.2决策树算法思想130

9.2ID3算法130

9.2.1ID3算法概述130

9.2.2ID3划分标准131

9.2.3ID3算法总结133

9.3C4.5算法133

9.3.1C4.5算法概述133

9.3.2C4.5划分标准134

9.3.3C4.5剪枝处理134

9.3.4C4.5算法总结138

9.4CART算法139

9.4.1CART算法概述139

9.4.2CART分类树139

9.4.3CART回归树142

9.4.4CART剪枝处理142

9.4.5CART算法总结142

9.5决策树总结143

9.5.13种决策树算法的差异143

9.5.2决策树的优缺点143

习题144

参考文献146

第10章集成学习147

10.1集成学习概述147

10.1.1Bagging147

10.1.2Boosting148

10.1.3Stacking148

10.2随机森林149

10.2.1随机森林算法思想149

10.2.2随机森林算法总结150

10.3AdaBoost算法150

10.3.1AdaBoost算法思想150

10.3.2AdaBoost算法总结152

10.4GBDT算法153

10.4.1GBDT算法思想154

10.4.2GBDT算法总结156

10.5XGBoost算法156

10.5.1XGBoost算法思想156

10.5.2XGBoost算法推导158

10.5.3XGBoost算法总结161

10.6LightGBM算法161

10.6.1LightGBM算法思想162

10.6.2LightGBM算法总结166

习题167

参考文献169

第11章人工神经网络(选修)171

11.1人工神经网络概述171

11.2感知机模型172

11.2.1感知机模型概述172

11.2.2感知机算法流程172

11.3反向传播算法173

11.3.1反向传播算法概述173

11.3.2反向传播算法流程174

11.3.3反向传播算法总结178

习题179

参考文献182

第12章支持向量机183

12.1支持向量机概述183

12.1.1算法思想183

12.1.2背景知识184

12.2线性可分支持向量机185

12.2.1算法思想185

12.2.2求解步骤186

12.3线性支持向量机188

12.3.1松弛变量188

12.3.2求解步骤188

12.4线性不可分支持向量机190

12.4.1算法思想190

12.4.2核技巧190

12.4.3常用核函数191

12.4.4支持向量机的超参数191

12.5支持向量机算法总结192

12.5.1支持向量机普遍使用的准则192

12.5.2算法优缺点193

习题193

参考文献195

第13章聚类196

13.1聚类概述196

13.1.1无监督学习概述196

13.1.2聚类算法思想196

13.1.3聚类的背景知识198

13.2Kmeans聚类199

13.2.1Kmeans算法思想199

13.2.2Kmeans算法总结203

13.3密度聚类204

13.3.1DBSCAN算法概述204

13.3.2DBSCAN算法思想205

13.3.3DBSCAN算法总结208

13.4层次聚类208

13.4.1层次聚类概述208

13.4.2聚合聚类209

13.4.3分裂聚类209

13.4.4层次聚类算法总结210

13.5聚类的评价指标210

13.5.1均一性210

13.5.2完整性211

13.5.3Vmeasure211

13.5.4轮廓系数211

13.5.5调整兰德系数212

习题212

参考文献214

第14章降维215

14.1降维概述215

14.1.1维数灾难215

14.1.2降维概述215

14.2奇异值分解216

14.2.1SVD概述216

14.2.2SVD的算法思想217

14.2.3SVD的算法案例219

14.2.4SVD的一些应用220

14.3主成分分析222

14.3.1PCA概述222

14.3.2PCA算法思想222

14.3.3PCA算法案例225

14.3.4PCA算法总结225

习题226

参考文献229

第15章关联规则230

15.1关联规则概述230

15.2Apriori算法231

15.2.1Apriori算法概述231

15.2.2Apriori算法思想232

15.2.3Apriori算法案例232

15.2.4Apriori算法总结235

15.3FPGrowth算法235

15.3.1FPGrowth算法概述235

15.3.2FPGrowth算法思想235

15.3.3FPGrowth算法案例236

15.3.4FPGrowth算法总结240

15.4ECLAT算法240

15.4.1ECLAT算法概述240

15.4.2ECLAT算法思想241

15.4.3ECLAT算法总结241

习题242

参考文献244