机器学习基础(新技术技能人才培养系列教程)/人工智能开发工程师系列

第 1 章 机器学习概述 21
技能目标．　21
本章任务．　21
任务　1．1：了解机器学习的基本概念　22
1．1．1　什么是机器学习　22
1．1．2　机器学习的起源与发展　23
任务　1．2：了解机器学习的应用场景　25
1．2．1　机器学习技术在日常生活中的应用　25
1．2．2　机器学习技术在不同行业中的应用　28
任务　1．3：了解机器学习的学习路径　30
1．3．1　学习机器学习的先决条件．　30
1．3．2　开启你的“海绵模式”　32
1．3．3　开始动手实践 ．　33
任务　1．4：掌握机器学习的先导知识概念　34
本章小结．　36
本章习题
第　2 章 机器学习工具安装与使用 ．　38
技能目标．　38
本章任务．　38
任务　2．1：Anaconda 的安装与使用　39
2．1．1　下载安装 Anaconda．　39
2．1．2　Jupyter Notebook 的使用　41
任务　2．2：pandas 和可视化工具的基本使用　45
2．2．1　pandas 的基本使用　45
2．2．2　数据可视化工具的基本使用．　48
任务　2．3：掌握 scikit-learn 的基本操作　51
2．3．1．使用　scikit-learn 加载并检查数据　51
2．3．2．使用　scikit-learn 训练模型并评估　54
2．3．3．保存和载入训练好的模型文件　．　56
本章小结．　57
本章习题
第　3 章 线性模型　59
技能目标．　59
本章任务．　59
任务　3．1：掌握线性模型的基本概念和线性回归的使用　60
3．1．1　线性模型的基本概念　60
3．1．2　线性回归模型的使用　62
任务　3．2： 掌握岭回归的原理及使用　66
3．2．1　岭回归的原理 ．　67
3．2．2　岭回归的使用 ．　69
任务　3．3：掌握套索回归的原理及使用　73
3．3．1　套索回归的原理　73
3．3．2　套索回归的参数调节　74
任务　3．4： 了解逻辑回归与线性支持向量机．　76
3．4．1　逻辑回归与线性支持向量机简介 ．　77
3．4．2　训练逻辑回归模型并预测．　77
3．4．3　训练线性支持向量机模型并预测 ．　79
本章小结．　80
本章习题
第　4 章 决策树和随机森林．　81
技能目标．　81
本章任务．　81
任务　4．1： 初步掌握决策树算法 ．　82
4．1．1　什么是决策树算法　82
4．1．2　决策树的基本使用方法　83
4．1．3　决策树中的 max_depth 参数 ．　85
4．1．4　决策树的模型展现．　91
4．1．5　决策树的优势与不足　92
任务　4．2： 初步掌握随机森林算法　93
4．2．1　什么是随机森林算法　93
4．2．2　随机森林算法中的参数解释　94
4．2．3　随机森林与决策树模型的差异　95
4．2．4　随机森林的优势与不足 ．　96
任务　4．3：使用决策树与随机森林实战练习．　97
4．3．1　下载数据集并载入　97
4．3．2　了解数据集的特征　98
4．3．3　使用数据集训练决策树与随机森林　99
本章小结．　102
本章习题
第　5 章 支持向量机　103
技能目标．　103
本章任务．　103
任务　5．1： 理解支持向量机的基本原理　104
5．1．1　“线性不可分”的数据集　104
5．1．2　将数据投射到高维空间　105
5．1．3　“不线性”的支持向量机．　106
任务　5．2：理解支持向量机的核函数和 gamma 参数 ．　108
5．2．1　支持向量机的 RBF 内核　108
5．2．2　不同内核的支持向量机对比．　110
5．2．3　gamma 参数对模型的影响．　112
5．2．4　支持向量机中的 C 参数　114
5．2．5　支持向量机的优势与不足．　116
任务　5．3：使用支持向量机算法进行实战练习．　116
5．3．1　数据集准备与初步了解　116
5．3．2　探索性数据分析　119
5．3．3　初步训练支持向量机模型．　121
5．3．4　对数据进行预处理并重新训练模型　123
本章小结．　127
本章习题
第　6 章 朴素贝叶斯　128
技能目标．　128
本章任务．　128
任务　6．1： 了解朴素贝叶斯的基本原理和使用　128
6．1．1　朴素贝叶斯算法的基本原理．　129
6．1．2　朴素贝叶斯用法示例　130
任务　6．2： 了解不同朴素贝叶斯变体的差异 ．　131
6．2．1　伯努利朴素贝叶斯的不足．　132
6．2．2　用高斯朴素贝叶斯替代伯努利朴素贝叶斯　133
6．2．3　多项式朴素贝叶斯简介　134
任务　6．3： 掌握朴素贝叶斯的实际应用．　135
6．3．1　获取数据集并检查　135
6．3．2　数据预处理与模型训练 ．　136
6．3．3　样本数量对朴素贝叶斯模型的影响　138
本章小结．　140
本章习题
第　7 章 K *近邻算法．　141
技能目标．　141
本章任务．　141
任务　7．1：了解 K *近邻算法．　142
7．1．1　K *近邻算法的简介及原理．　142
任务　7．2：掌握 K *近邻算法在分类任务中的应用．　144
7．2．1　K *近邻算法在二元分类任务中的应用　145
7．2．2　K *近邻算法处理多元分类任务 ．　148
任务　7．3：掌握 K *近邻算法在回归分析中的应用．　151
7．3．1　掌握 K *近邻算法在回归分析中的应用．　151
任务　7．4：使用 K *近邻算法实战练习　155
7．4．1　对数据集进行分析　155
7．4．2　生成训练集和验证集　158
7．4．3　使用 K *近邻算法进行建模并调优　160
7．4．4　使用模型对新样本进行预测．　164
本章小结．　166
本章习题
第　8 章 神经网络　167
技能目标．　167
本章任务．　167
任务　8．1：了解神经网络的起源与发展　168
8．1．1　了解神经网络的起源．　169
8．1．2　了解神经网络的发展．　170
任务　8．2：掌握神经网络的原理．　172
8．2．1　了解神经网络的原理　172
任务　8．3：掌握神经网络中的激活函数　175
8．3．1　了解激活函数　175
8．3．2　使用激活函数　176
任务　8．4：掌握神经网络中的参数调节　178
8．4．1　分析数据集并展现．　178
8．4．2　参数调节　182
任务　8．5：使用神经网络解决实际问题　187
8．5．1　分析 fashion-mnist 数据集　187
8．5．2　训练 MLP 神经网络．　190
8．5．3　使用模型进行图片识别　190
本章小结．　192
本章习题
第　9 章 聚类．　194
技能目标．　194
本章任务．　194
任务　9．1：了解聚类算法的原理与用途　195
9．1．1　了解聚类算法的原理．　195
9．1．2　了解聚类算法的用途．　197
17　/ 305任务 9．2：掌握 K 均值算法的原理和使用　198
9．2．1　了解 K 均值算法的原理　199
9．2．2　使用 K 均值算法进行简单聚类分析　200
任务　9．3：掌握 DBSCAN 算法的原理和使用．　203
9．3．1　了解 DBSCAN 算法的原理　203
9．3．2　使用 DBSCAN 算法进行简单聚类分析 ．　205
任务　9．4：使用聚类算法解决实际问题　211
9．4．1　对数据集进行分析　212
9．4．2　使用 K 均值算法进行聚类分析．　214
本章小结．　221
本章习题
第　10 章 数据降维、特征提取与流形学习　222
技能目标．　222
本章任务．　222
任务　10．1： 使用 PCA 主成分分析进行数据降维．　223
10．1．1　PCA 主成分分析介绍　223
10．1．2　使用 PCA 降维以便进行可视化　226
10．1．3　PCA 主成分与原始特征的关系．　227
任务　10．2： 使用 PCA 中的数据白化功能进行特征提取　229
10．2．1　使用人脸识别数据集进行实验　229
10．2．2　使用 PCA 进行特征提取　232
10．2．3　特征提取对于模型准确率的影响　234
任务　10．3： 使用 t-SNE 对数据降维并进行可视化．　235
10．3．1　t-SNE 简介　235
10．3．2　使用 PCA 降维作为 Baseline　236
10．3．3　使用 t-SNE 降维并进行可视化　239
本章小结．　241
本章习题
第　11 章 模型选择、优化及评估．　242
技能目标．　242
本章任务．　242
任务　11．1：掌握交叉验证方法对模型进行评估．　243
11．1．1　交叉验证法简介．　243
11．1．2　K-折叠交叉验证法　243
11．1．3　随机拆分和留一交叉验证法　246
任务　11．2：掌握网格搜索法寻找模型的*优参数．　248
11．2．1　了解及使用简单网格搜索　248
11．2．2　与交叉验证结合的网格搜索　250
任务　11．3：掌握模型的不同评价标准　253
11．3．1　分类模型的评价标准　253
11．3．2　使用 R 平方分数评估回归模型．　255
本章小结．　258
本章习题
第　12 章 数据预处理与特征选择．　259
技能目标．　259
本章任务．　259
任务　12．1：掌握常用的数据标准化方法　260
12．1．1　使用 StandardScaler 进行数据预处理　260
12．1．2　使用 MinMaxScaler 进行数据标准化处理　262
12．1．3　使用 Normalizer 进行数据标准化处理．　264
12．1．4　使用 RobustScaler 进行数据标准化处理　265
任务　12．2：掌握常用的数据表达方法　267
12．2．1　虚拟变量．　267
12．2．2　数据分箱．　269
任务　12．3：掌握常用的特征选择方法　274
12．3．1　单变量统计 ．　274
12．3．2　基于模型的特征选择　278
12．3．3　迭代特征选择　279
本章小结．　280
本章习题
第　13 章 处理文本数据　282
技能目标．　282
本章任务．　282
任务　13．1：掌握文本数据的特征提取、汉语分词和词包模型　283
13．1．1　基于计数向量器的文本特征提取．　283
13．1．2　对汉语文本进行分词处理　285
13．1．3　使用词包模型将文本转换为数组．　286
任务　13．2：文本数据的进一步优化处理　287
13．2．1　默认参数下词包模型的问题．　287
13．2．2　调整 n_Gram 参数重新建立模型 ．　288
任务　13．3：使用真实数据进行实战练习　290
13．3．1　载入数据集并查看特征　290
13．3．2　文本数据预处理．　291
13．3．3　使用“朴素贝叶斯”算法训练模型．　294
13．3．4　使用模型判断消费者评论　295
本章小结．　296
本章习题
第　14 章 未来职业发展前景与方向 ．　298
技能目标．　298
本章任务．　298
任务：了解数据科学家的职业发展　298
14．1．1　数据科学家的养成　298
14．1．2　在实践中提高技能　301
14．1．3　未来的学习方向　303
本章小结．　305
本章习题