Python机器学习实践

第1章 机器学习基础 1

1.1 机器学习概述 1

1.1.1 什么是机器学习 1

1.1.2 机器学习发展史 3

1.1.3 机器学习、人工智能、深度学习的关系 5

1.2 机器学习相关概念 6

1.3 机器学习的任务 8

1.3.1 监督学习 8

1.3.2 无监督学习 8

1.3.3 半监督学习 9

1.4 机器学习的一般步骤 9

1.5 机器学习Python基础 10

1.5.1 Python开发环境 10

1.5.2 Python基本语法 11

1.5.3 Python列表、元组、字典、集合 13

1.6 本章小结 18

1.7 习题 18

第2章 k近邻算法 19

2.1 k近邻算法原理 19

2.1.1 非参数估计与参数估计 20

2.1.2 非参数估计的一般推导 22

2.2 基于k近邻算法的实现 23

2.2.1 利用直方图估计概率密度、分类 23

2.2.2 利用Parzen矩形窗估计概率密度、分类 28

2.2.3 利用Parzen正态核估计概率密度、分类 29

2.3 k近邻算法应用─鸢尾花的分类 31

2.4 本章小结 35

2.5 习题 35

第3章 贝叶斯分类器 37

3.1 贝叶斯定理相关概念 37

3.1.1 先验概率、条件概率、后验概率与类条件概率 37

3.1.2 贝叶斯决策理论 38

3.1.3 极大似然估计 39

3.2 朴素贝叶斯分类器 42

3.2.1 手工设计贝叶斯分类器 43

3.2.2 贝叶斯分类器的实现 44

3.2.3 平滑方法 46

3.3 朴素贝叶斯分类算法实现─三文鱼和鲈鱼的分类 48

3.3.1 算法实现 48

3.3.2 调用系统函数实现 55

3.4 正态贝叶斯分类器 56

3.5 本章小结 57

3.6 习题 57

第4章 聚类 59

4.1 聚类算法简介 59

4.1.1 聚类算法分类 59

4.1.2 距离度量方法 60

4.2 K-means聚类 62

4.3 基于密度的聚类─DBSCAN聚类 68

4.3.1 DBSCAN算法原理及相关概念 68

4.3.2 DBSCAN聚类算法 69

4.4 基于层次的聚类─AGNES聚类 72

4.4.1 AGNES聚类算法思想 72

4.4.2 AGNES算法实现 74

4.5 聚类应用举例 76

4.6 各种聚类算法的比较 79

4.7 本章小结 80

4.8 习题 80

第5章 EM算法 82

5.1 EM算法原理及推导过程 82

5.1.1 EM算法思想 82

5.1.2 EM算法推导过程 83

5.2 高斯混合聚类 85

5.2.1 概率密度函数 85

5.2.2 高斯混合聚类算法推导过程 86

5.2.3 高斯混合聚类算法思想 87

5.2.4 高斯混合聚类应用举例 88

5.3 服从0-1二项分布的EM算法 92

5.3.1 服从0-1二项分布的EM算法思想 93

5.3.2 服从0-1二项分布的EM算法过程模拟 94

5.3.3 服从0-1二项分布的EM算法实现 96

5.4 本章小结 98

5.5 习题 98

第6章 支持向量机 100

6.1 SVM简介 100

6.1.1 线性可分与感知机 101

6.1.2 间隔*大化及线性SVM 104

6.2 线性SVM算法实现 108

6.3 非线性SVM与核函数 111

6.3.1 线性不可分 111

6.3.2 对偶问题与核函数 111

6.3.3 非线性SVM算法实现 115

6.4 SVM回归 118

6.5 SVM算法实现─鸢尾花的分类 120

6.5.1 sklearn中的SVC参数介绍 120

6.5.2 使用SVC对鸢尾花数据进行分类 121

6.6 本章小结 124

6.7 习题 125

第7章 决策树 126

7.1 决策树构造基本原理 126

7.2 决策树构造过程 127

7.3 决策树学习算法思想及实现 131

7.4 决策树算法实现─泰坦尼克号幸存者预测 133

7.5 本章小结 139

7.6 习题 139

第8章 线性回归 141

8.1 回归分析概述 141

8.2 单变量线性回归 142

8.2.1 梯度下降法求解线性回归原理与实现 142

8.2.2 牛顿法求解线性回归原理与实现 146

8.3 多变量回归分析 150

8.3.1 多变量回归分析原理 150

8.3.2 多变量线性回归算法实现 151

8.4 多项式回归分析 155

8.5 本章小结 157

8.6 习题 157

第9章 逻辑回归 160

9.1 sigmoid函数与逻辑回归模型 160

9.2 梯度下降与推导过程 161

9.3 参数学习向量化 163

9.4 逻辑回归的Python实现─乳腺良性与恶性肿瘤的预测 164

9.5 评估方法 169

9.6 本章小结 173

9.7 习题 174

第10章 人工神经网络 175

10.1 从感知机到多层感知机 175

10.2 神经网络模型 178

10.3 BP神经网络算法思想及实现 180

10.3.1 BP神经算法模型参数学习过程 180

10.3.2 BP神经网络算法实现 183

10.4 BP神经网络算法实现─鸢尾花分类 186

10.5 本章小结 193

10.6 习题 193

第11章 综合案例分析：垃圾邮件分类 194

11.1 文本预处理 194

11.1.1 中文分词 194

11.1.2 文本向量化 202

11.2 中文垃圾邮件分类算法及实现 204

11.3 本章小结 208

11.4 习题 209

第12章 综合案例分析：手写数字识别 210

12.1 图像的存储表示 210

12.2 数据预处理 213

12.2.1 将图像转换为文本 213

12.2.2 将矩阵转换为向量 215

12.3 基于kNN的手写数字识别 215

12.3.1 划分训练集和测试集 215

12.3.2 kNN分类模型 216

12.3.3 kNN分类模型评估 216

12.4 基于神经网络的手写数字识别 218

12.4.1 定义神经网络模型 218

12.4.2 主函数 219

12.5 本章小结 220

12.6 习题 221

第13章 综合案例分析：零售商品销售额分析与预测 222

13.1 问题描述与分析 222

13.2 数据探索与预处理 223

13.2.1 数据探索 223

13.2.2 属性特征的数值化 227

13.2.3 缺失值处理 228

13.3 特征选择 231

13.4 建立回归模型 232

13.4.1 线性回归模型 232

13.4.2 岭回归模型 233

13.4.3 Lasso回归模型 235

13.4.4 多项式回归模型 236

13.4.5 随机森林回归模型 237

13.5 超参数选择 239

13.6 本章小结 240

13.7 习题 241

第14章 综合案例分析：基于协同过滤的推荐系统 242

14.1 推荐系统简介 242

14.1.1 信息检索与推荐系统 242

14.1.2 推荐系统的前世今生 243

14.1.3 推荐系统的原理与分类 244

14.1.4 推荐系统的评估方法 245

14.2 基于*近邻的协同过滤推荐算法原理与实现 247

14.2.1 基于近邻用户的协同过滤推荐 247

14.2.2 基于近邻项目的协同过滤推荐 255

14.3 基于隐语义分析的推荐模型 260

14.4 基于标签的推荐算法 266

14.5 本章小结 266

14.6 习题 267

参考文献 268