机器学习入门与实战――基于scikit-learn和Keras

**篇 传统机器学习

第1章 机器学习概述 2
1．1 机器学习概念 2
1．1．1 什么是机器学习 2
1．1．2 机器学习有什么用 2
1．1．3 机器学习的分类 3
1．2 机器学习理论基础 9
1．2．1 过拟合和欠拟合 9
1．2．2 损失函数 9
1．2．3 模型性能度量方法 11
1．2．4 学习曲线 14
1．2．5 算法模型性能优化 17
1．3 scikit-learn简介 21
1．3．1 关于scikit-learn 21
1．3．2 安装scikit-learn 21
1．3．3 scikit-learn数据集 21
习题 27
参考文献 30
第2章 回归分析 31
2．1 一元线性回归 31
2．1．1 一元线性回归的实现 31
2．1．2 解一元线性回归的
*小二乘法 34
2．1．3 模型评估 35
2．2 多元线性回归 36
2．3 多项式回归 36
习题 41
参考文献 42
第3章 Logistic回归 43
3．1 分类问题概述 43
3．2 Logistic回归分类 44
3．2．1 Logistic回归算法的原理 44
3．2．2 Logistic回归算法实例 48
3．3 Softmax回归――多元分类
问题 55
习题 58
参考文献 59
第4章 k近邻 60
4．1 k近邻算法原理 60
4．1．1 KNN算法三要素 60
4．1．2 KNN算法之蛮力实现
原理 61
4．1．3 KNN算法之KD树实现
原理 62
4．1．4 KNN算法之球树实现
原理 64
4．1．5 KNN算法的扩展 66
4．1．6 KNN算法小结 66
4．2 用scikit-learn实现KNN
算法 67
习题 72
参考文献 72
第5章 决策树 73
5．1 决策树分类原理 74
5．2 决策树的学习过程 74
5．3 ID3算法的数学原理 75
5．3．1 什么是信息增益 75
5．3．2 ID3树中*优划分属性计算
举例 76
5．4 scikit-learn决策树算法实现 78
5．5 决策树可视化 80
习题 83
参考文献 84
第6章 朴素贝叶斯 85
6．1 基本原理 85
6．1．1 贝叶斯定理 85
6．1．2 朴素贝叶斯分类器 86
6．2 朴素贝叶斯三种基本模型 88
6．3 朴素贝叶斯的应用及特点 90
6．3．1 朴素贝叶斯常见的四种
应用 90
6．3．2 朴素贝叶斯的优缺点 90
6．3．3 提升朴素贝叶斯性能的
技巧 91
习题 93
参考文献 94
第7章 支持向量机 95
7．1 支持向量机原理 95
7．1．1 支持向量机定义 95
7．1．2 线性可分性 95
7．1．3 损失函数 96
7．1．4 经验风险与结构风险 97
7．2 标准算法 99
7．2．1 线性SVM 99
7．2．2 非线性SVM 100
7．3 scikit-learn SVM分类算法
实现 101
7．3．1 算法简单实现 101
7．3．2 算法的优化 102
习题 106
参考文献 107
第8章 神经网络 108
8．1 神经网络概述 108
8．1．1 神经元模型 108
8．1．2 感知机 109
8．1．3 神经网络 110
8．1．4 梯度下降法与反向传播 112
8．2 scikit-learn神经网络分类算法
实现 118
习题 122
参考文献 123
第9章 聚类 124
9．1 聚类概述 124
9．1．1 K-Means聚类算法 124
9．1．2 均值漂移聚类 127
9．1．3 基于密度的聚类方法
（DBSCAN） 130
9．1．4 基于高斯混合模型（GMM）的
期望*大化（EM）聚类 132
9．1．5 凝聚层次聚类 133
9．2 scikit-learn聚类算法的实现 136
习题 142
参考文献 144
第10章 降维 145
10．1 降维方法概述 145
10．1．1 主成分分析（PCA） 145
10．1．2 线性判别分析（LDA） 148
10．1．3 局部线性嵌入（LLE） 150
10．1．4 拉普拉斯特征映射
?（LE） 151
10．2 scikit-learn降维算法实现 152
习题 157
参考文献 158

第二篇 深度学习

第11章 深度学习概述 161
11．1 深度学习的概念 161
11．2 深度学习的分类及特点 163
11．2．1 深度学习的分类 163
11．2．2 深度学习的特点 164
11．3 深度学习的历史及发展 164
11．4 深度学习的应用 165
11．5 Keras简介 166
11．5．1 Keras深度学习库 166
11．5．2 Keras安装 168
11．5．3 Keras举例 168
习题 169
参考文献 170
第12章 卷积神经网络 171
12．1 卷积与池化操作 172
12．1．1 卷积层 172
12．1．2 池化层 174
12．2 典型的CNN架构 175
12．2．1 LeNet-5 176
12．2．2 AlexNet 176
12．2．3 GoogLeNet 178
12．2．4 ResNet 180
12．3 使用Keras搭建卷积神经
网络 182
习题 185
参考文献 185
第13章 循环神经网络 186
13．1 RNN 186
13．2 LSTM 190
13．3 循环神经网络案例 191
习题 195
参考文献 195
第14章 生成对抗网络 196
14．1 生成对抗网络结构 196
14．1．1 生成对抗网络模型原理 197
14．1．2 生成对抗网络优化原理 198
14．1．3 模型训练 199

14．1．4 对抗网络的改进模型 200
14．2 生成对抗网络的构建 201
14．2．1 生成模型的构建 202
14．2．2 判别模型的构建 202
14．2．3 条件生成对抗网络的
构建 204
14．3 生成对抗网络案例 205
14．3．1 生成模型 205
14．3．2 判别模型 205
14．3．3 模型训练 206
习题 207
参考文献 208
第15章 强化学习 209
15．1 问题概述 209
15．2 价值函数 211
15．3 动态规划算法 212
15．3．1 策略迭代算法 212
15．3．2 价值迭代算法 213
15．4 蒙特卡洛算法 213
15．4．1 状态价值函数估计 214
15．4．2 动作价值函数估计 214
15．4．3 蒙特卡洛控制 215
15．5 时序差分算法 215
15．5．1 Sarsa算法 216
15．5．2 Q学习 216
15．6 深度强化学习 216
15．6．1 DQN算法 216
15．6．2 策略梯度算法 217
15．7 代码案例 219
习题 223
参考文献 224