Python机器学习核心算法编程实例

目 录

第1章　机器学习绪论 1
1.1　机器学习的定义 1
1.1.1　绪论 1
1.1.2　机器学习发展历程 2
1.1.3　机器学习算法的分类 3
1.2　学习算法 4
1.2.1　监督学习 4
1.2.2　无监督学习 5
1.3　机器学习应用程序的步骤 6
1.4　Python语言 7
1.4.1　Python的风格 7
1.4.2　Python的优势 7
1.4.3　Python语言的缺点 8
1.5　Python的环境搭建 9
1.5.1　安装 10
1.5.2　使用pip安装第三方库 13
1.6　NumPy函数库基础 14
1.7　Python的基础知识 16
1.7.1　数和表达式 16
1.7.2　Python的标识符 18
1.7.3　Python的保留字符 19
1.7.4　行和缩进 19
1.7.5　多行语句 20
1.7.6　Python引号 20
1.7.7　Python空行 20
1.7.8　同一行显示多条语句 20
1.7.9　Print输出 21
第2章　线性模型 22
2.1　一般线性回归 23
2.1.1　线性回归公式表示法 23
2.1.2　线性回归的Python实现 25
2.2　局部加权线性回归 27
2.3　广义线性模型 30
2.4　逻辑回归分析 36
2.5　牛顿法 40
2.5.1　基本牛顿法的原理 40
2.5.2　基本牛顿法的流程 40
2.5.3　全局牛顿法 40
2.5.4　Armijo搜索 42
2.5.5　全局牛顿法求解线性回归模型 42
2.6　缩减法 43
2.6.1　岭回归 44
2.6.2　lasso回归 46
2.7　利用线性回归进行预测 47
2.7.1　训练线性回归模型 47
2.7.2　对新数据的预测 49
第3章　树回归 51
3.1　构建决策树的准备工作 52
3.1.1　特征选择 52
3.1.2　决策树的生成和修剪 60
3.2　Matplotlib注释绘制树形图 60
3.3　使用决策树执行分类 67
3.4　决策树的存储 71
3.5　Sklearn使用决策树预测隐形眼镜类型 73
3.5.1　实战背景 73
3.5.2　使用Sklearn构建决策树 73
3.6　复杂数据的局部性建模 80
3.7　连续型和离散型特征的树构建 81
3.8　分类回归树 82
3.8.1　构建树 83
3.8.2　剪枝 85
3.8.3　模型树 87
3.8.4　分类回归的Python实现 88
第4章 K-means聚类算法 92
4.1　K-means聚类算法的概述 92
4.2　相似性的度量 93
4.2.1　闵可夫斯基距离 93
4.2.2　曼哈顿距离 93
4.2.3　欧氏距离 93
4.3　K-means聚类算法的原理 94
4.3.1　K-means聚类算法的步骤 94
4.3.2　K-means算法与矩阵分解 95
4.3.3　K-means聚类算法的实现 96
4.4　K-近邻算法 104
4.5　各种聚类算法 107
4.5.1　划分聚类法 107
4.5.2　层次聚类法 108
4.5.3　密度聚类法 111
4.5.4　谱聚类法 116
4.5.5　Birch聚类 119
4.5.6　混合高斯模型 121
4.6　K-means 算法 122
4.6.1　K-means算法存在的问题 122
4.6.2　K-means 算法的思路 123
第5章　朴素贝叶斯 127
5.1　朴素贝叶斯理论 127
5.1.1　贝叶斯决策理论 127
5.1.2　条件概率 128
5.1.3　全概率公式 128
5.1.4　贝叶斯推断 129
5.1.5　朴素贝叶斯推断 130
5.2　朴素贝叶斯算法 131
5.3　朴素贝叶斯算法的优缺点 140
第6章　数据降维 141
6.1　维度灾难与降维 141
6.2　高维数据降维的方法 141
6.2.1　线性降维 142
6.2.2　非线性降维 146
6.2.3　SVD降维 153
6.2.4　流形学习降维 159
6.2.5　多维缩放降维 166
第7章　支持向量机 170
7.1　支持向量机概述 170
7.2　分类间隔 171
7.2.1　函数间距 172
7.2.2　几何间距 173
7.3　拉格朗日乘子 175
7.3.1　拉格朗日对偶性 175
7.3.2　优化间隔分类器 176
7.4　核函数 178
7.4.1　核函数的选择 180
7.4.2　松弛向量与软间隔*大化 180
7.5　SOM算法 181
7.5.1　坐标上升算法 182
7.5.2　SOM 182
7.6　SVM的优缺点 185
7.7　SVM的Python实现 185
第8章　随机森林 192
8.1　什么是随机森林 192
8.2　集成学习 192
8.2.1　集成学习的思想 193
8.2.2　集成学习中的典型方法 193
8.3　Stacking 194
8.3.1　Stacking的基本思想 194
8.3.2　Stacking的实现 195
8.4　随机森林算法 198
8.4.1　随机森林的特点 198
8.4.2　随机森林算法流程 199
8.5　随机森林算法实践 201
8.6　美国人口普查年收入50k分类 207
8.6.1　数据预处理 208
8.6.2　模型训练及验证 212
第9章　人工神经网络 217
9.1　感知机模型 217
9.1.1　感知机的定义 217
9.1.2　感知机的学习策略 218
9.1.3　感知机学习算法 218
9.1.4　感知机的Python实现 226
9.2　从感知机到神经网络 236
9.3　多层前馈神经网络 238
9.3.1　BP网络算法 241
9.3.2　BP神经网络的学习过程 244
9.3.3　BP神经网络中参数的设置 249
9.4　神经网络的Python实现 253
第10章　协同过滤算法 272
10.1　协同过滤的核心 272
10.2　协同过滤的分类 272
10.3　相似性的度量方法 273
10.3.1　欧氏距离 273
10.3.2　皮尔逊相关系数 273
10.3.3　余弦相似度 274
10.3.4　用Python实现余弦相似度的计算 274
10.4　基于用户的协同过滤算法 275
10.4.1　基于物品的协同过滤算法 275
10.4.2　基于矩阵分解的协同过滤算法 276
10.4.3　Python实现 276
10.5　基于项的协同过滤算法 280
10.6　利用协同过滤算法进行推荐 281
10.6.1　导入用户-商品数据 281
10.6.2　利用基于用户的协同过滤算法进行推荐 282
10.6.3　利用基于项的协同过滤算法进行推荐 283
第11章　基于矩阵分解的推荐算法 285
11.1　矩阵分解 285
11.2　利用矩阵分解进行预测 286
11.2.1　损失函数 286
11.2.2　损失函数的求解 286
11.2.3　加入正则项的损失函数即求解方法 286
11.2.4　预测 288
11.2.5　程序实现 289
11.3　非负矩阵分解 291
11.3.1 非负矩阵分解的形式定义 291
11.3.2　损失函数 291
11.3.3　优化问题的求解 292
11.3.4　利用乘法规则进行分解和预测 294
11.4　基于矩阵分解的推荐方法 295
11.4.1　LFM法 295
11.4.2　SVD法 298
11.4.3　SVD 法 300
第12章　集成学习 304
12.1　集成学习的原理及误差 304
12.2　集成学习方法 305
12.2.1　Boosting算法 305
12.2.2　AdaBoost算法 305
12.2.3　AdaBoost与加法模型 309
12.2.4　提升树 310
12.2.5　Bagging算法 313
12.2.6　误差-分歧分解 314
12.2.7　多样性增强 315
12.2.8　Stacking算法 316
12.3　Python实现 317
第13章　数据预处理 322
13.1　数据预处理概述 322
13.1.1　为什么要对数据进行预处理 322
13.1.2　数据预处理的主要任务 323
13.2　去除唯一属性 323
13.3　处理缺失值 324
13.3.1　直接使用 324
13.3.2　删除特征 324
13.3.3　缺失值补全 324
13.3.4　数据清理 328
13.3.5　特征编码 330
13.3.6　数据标准化 331
13.3.7　正则化 332
13.3.8　特征选择 333
13.3.9　稀疏表示和字典学习 335
13.4　Python实现 337
参考文献 352