Python机器学习原理与算法实现

第1章 Python入门知识 1

1.1 Python简介与本书的教学理念 1

1.2 Python的下载与安装 2

1.2.1 下载Python（Anaconda平台） 2

1.2.2 安装Python（Anaconda平台） 4

1.2.3 Anaconda Prompt（Anaconda3） 6

1.2.4 Spyder（Anaconda3）的介绍及偏好设置 7

1.2.5 Spyder（Anaconda3）窗口介绍 10

1.3 Python注释、基本输入与输出 16

1.3.1 Python的注释 16

1.3.2 print函数 17

1.3.3 input函数 17

1.4 Python变量和数据类型 18

1.4.1 Python的保留字与标识符 18

1.4.2 Python的变量 19

1.4.3 Python的基本数据类型 20

1.4.4 Python的数据运算符 23

1.5 Python序列 25

1.5.1 索引（Indexing） 26

1.5.2 切片（Slicing） 26

1.5.3 相加（Adding） 27

1.5.4 相乘（Multiplying） 28

1.5.5 元素检查 28

1.5.6 与序列相关的内置函数 28

1.6 Python列表 30

1.6.1 列表的基本操作 30

1.6.2 列表元素的基本操作 32

1.6.3 列表推导式 33

1.7 Python元组 34

1.7.1 元组的基本操作 34

1.7.2 元组元素的基本操作 35

1.7.3 元组推导式 36

1.8 Python字典 37

1.8.1 字典的基本操作 37

1.8.2 字典元素的基本操作 39

1.8.3 字典推导式 40

1.9 Python集合 41

1.10 Python字符串 42

1.11 习题 46

第2章 Python进阶知识 48

2.1 Python流程控制语句 48

2.1.1 选择语句 48

2.1.2 循环语句 50

2.1.3 跳转语句 52

2.2 Python函数 53

2.2.1 函数的创建和调用 53

2.2.2 参数的相关概念与操作 53

2.2.3 变量的作用域 56

2.3 Python模块和包 58

2.3.1 模块的创建和导入 58

2.3.2 包的创建和使用 61

2.4 Python numpy模块中的数组 63

2.4.1 数组的创建 63

2.4.2 数组的计算 65

2.4.3 使用数组开展矩阵运算 66

2.4.4 数组的排序、索引和切片 66

2.5 Python pandas模块中的序列与数据框 67

2.5.1 序列的相关操作 67

2.5.2 数据框的相关操作 69

2.6 Python对象与类 74

2.6.1 类的定义 74

2.6.2 定义适用于类对象的方法 75

2.6.3 子类从父类继承 76

2.7 Python数据读取 76

2.7.1 读取文本文件（CSV或者TXT文件） 77

2.7.2 读取EXCEL数据 80

2.7.3 读取SPSS数据 81

2.7.4 读取Stata数据 82

2.8 Python数据检索 83

2.9 Python数据缺失值处理 84

2.9.1 查看数据集中的缺失值 84

2.9.2 填充数据集中的缺失值 86

2.9.3 删除数据集中的缺失值 89

2.10 Python数据重复值处理 91

2.10.1 查看数据集中的重复值 91

2.10.2 删除数据集中的重复值 92

2.11 Python数据行列处理 94

2.11.1 删除变量列、样本行 94

2.11.2 更改变量列名称、调整变量列顺序 95

2.11.3 改变列的数据格式 96

2.11.4 多列转换 96

2.11.5 数据百分比格式转换 97

2.12 习题 98

第3章 机器学习介绍 99

3.1 机器学习概述 99

3.2 机器学习术语 100

3.3 机器学习分类 101

3.4 误差、泛化、过拟合与欠拟合 102

3.5 偏差、方差与噪声 103

3.5.1 偏差 103

3.5.2 方差 103

3.5.3 噪声 103

3.5.4 误差与偏差、方差、噪声的关系 104

3.5.5 偏差与方差的权衡 104

3.6 性能量度 105

3.6.1 “回归问题监督式学习”的性能量度 105

3.6.2 “分类问题监督式学习”的性能量度 106

3.7 模型评估 111

3.7.1 验证集法 111

3.7.2 K折交叉验证 112

3.7.3 自助法 113

3.8 机器学习项目流程 114

3.9 习题 118

第4章 线性回归算法 119

4.1 线性回归算法的基本原理 119

4.1.1 线性回归算法的概念及数学解释 119

4.1.2 线性回归算法的优缺点 120

4.2 数据准备 121

4.2.1 导入分析所需要的模块和函数 121

4.2.2 数据读取及观察 122

4.3 描述性分析 123

4.4 图形绘制 125

4.4.1 直方图 125

4.4.2 密度图 127

4.4.3 箱图 128

4.4.4 小提琴图 128

4.4.5 正态QQ图 129

4.4.6 散点图和线图 130

4.4.7 热力图 131

4.4.8 回归拟合图 132

4.4.9 联合分布图 132

4.5 正态性检验 133

4.5.1 Shapiro-Wilk test检验 133

4.5.2 kstest检验 134

4.6 相关性分析 135

4.7 使用statsmodels进行线性回归 137

4.7.1 使用 smf 进行线性回归 137

4.7.2 多重共线性检验 139

4.7.3 解决多重共线性问题 140

4.7.4 绘制拟合回归平面 141

4.8 使用sklearn进行线性回归 142

4.8.1 使用验证集法进行模型拟合 142

4.8.2 更换随机数种子，使用验证集法进行模型拟合 143

4.8.3 使用10折交叉验证法进行模型拟合 143

4.8.4 使用10折重复10次交叉验证法进行模型拟合 144

4.8.5 使用留一交叉验证法进行模型拟合 144

4.9 习题 145

第5章 二元Logistic回归算法 147

5.1 二元Logistic回归算法的基本原理 147

5.2 数据准备 148

5.2.1 导入分析所需要的模块和函数 149

5.2.2 数据读取及观察 150

5.3 描述性分析 152

5.4 数据处理 154

5.4.1 区分分类特征和连续特征并进行处理 154

5.4.2 将样本全集分割为训练样本和测试样本 154

5.5 建立二元Logistic回归算法模型 155

5.5.1 使用statsmodels建立二元Logistic回归算法模型 155

5.5.2 使用sklearn建立二元Logistic回归算法模型 159

5.5.3 特征变量重要性水平分析 162

5.5.4 绘制ROC曲线，计算AUC值 165

5.5.5 计算科恩kappa得分 166

5.6 习题 167

第6章 多元Logistic回归算法 169

6.1 多元Logistic回归算法的基本原理 169

6.2 数据准备 170

6.2.1 导入分析所需要的模块和函数 170

6.2.2 数据读取及观察 171

6.3 描述性分析及图形绘制 172

6.3.1 描述性分析 172

6.3.2 绘制直方图 173

6.3.3 绘制箱图 173

6.4 数据处理 175

6.4.1 区分分类特征和连续特征并进行处理 175

6.4.2 将样本全集分割为训练样本和测试样本 175

6.5 建立多元Logistic回归算法模型 175

6.5.1 模型估计 176

6.5.2 模型性能分析 176

6.6 习题 179

第7章 判别分析算法 180

7.1 判别分析算法的基本原理 180

7.1.1 线性判别分析的基本原理 180

7.1.2 线性判别分析的算法过程 181

7.1.3 二次判别分析的基本原理 182

7.2 数据准备 183

7.2.1 导入分析所需要的模块和函数 184

7.2.2 线性判别分析降维优势展示 185

7.2.3 数据读取及观察 187

7.3 特征变量相关性分析 188

7.4 使用样本全集开展线性判别分析 189

7.4.1 模型估计及性能分析 189

7.4.2 运用两个特征变量绘制LDA决策边界图 192

7.5 使用分割样本开展线性判别分析 193

7.6 使用分割样本开展二次判别分析 195

7.6.1 模型估计 195

7.6.2 运用两个特征变量绘制QDA决策边界图 196

7.7 习题 197

第8章 朴素贝叶斯算法 198

8.1 朴素贝叶斯算法的基本原理 198

8.1.1 贝叶斯方法的基本原理 198

8.1.2 贝叶斯定理 199

8.1.3 朴素贝叶斯算法的基本原理 201

8.1.4 拉普拉斯修正 202

8.1.5 朴素贝叶斯算法分类及适用条件 202

8.2 数据准备 203

8.2.1 案例数据说明 203

8.2.2 导入分析所需要的模块和函数 205

8.3 高斯朴素贝叶斯算法示例 205

8.3.1 数据读取及观察 206

8.3.2 将样本全集分割为训练样本和测试样本 207

8.3.3 高斯朴素贝叶斯算法拟合 207

8.3.4 绘制ROC曲线 207

8.3.5 运用两个特征变量绘制高斯朴素贝叶斯决策边界图 208

8.4 多项式、补集、二项式朴素贝叶斯算法示例 208

8.4.1 数据读取及观察 209

8.4.2 将样本全集分割为训练样本和测试样本 209

8.4.3 多项式、补集、二项式朴素贝叶斯算法拟合 210

8.4.4 寻求二项式朴素贝叶斯算法拟合的*优参数 210

8.4.5 *优二项式朴素贝叶斯算法模型性能评价 213

8.5 习题 214

第9章 高维数据惩罚回归算法 216

9.1 高维数据惩罚回归算法简介 216

9.1.1 高维数据惩罚回归算法的基本原理 216

9.1.2 岭回归 217

9.1.3 Lasso回归 217

9.1.4 弹性网回归 218

9.1.5 惩罚回归算法的选择 218

9.2 数据准备 218

9.2.1 导入分析所需要的模块和函数 220

9.2.2 数据读取及观察 220

9.3 变量设置及数据处理 221

9.4 岭回归算法 222

9.4.1 使用默认惩罚系数构建岭回归模型 222

9.4.2 使用留一交叉验证法寻求*优惩罚系数构建岭回归模型 223

9.4.3 使用K折交叉验证法寻求*优惩罚系数构建岭回归模型 224

9.4.4 划分训练样本和测试样本下的*优岭回归模型 225

9.5 Lasso回归算法 226

9.5.1 使用随机选取惩罚系数构建岭回归模型 226

9.5.2 使用留一交叉验证法寻求*优惩罚系数构建Lasso回归模型 227

9.5.3 使用K折交叉验证法寻求*优惩罚系数构建Lasso回归模型 227

9.5.4 划分训练样本和测试样本下的*优Lasso回归模型 228

9.6 弹性网回归算法 229

9.6.1 使用随机选取惩罚系数构建弹性网回归模型 229

9.6.2 使用K折交叉验证法寻求*优惩罚系数构建弹性网回归模型 230

9.6.3 划分训练样本和测试样本下的*优弹性网回归模型 231

9.7 习题 231

第10章 K近邻算法 233

10.1 K近邻算法简介 233

10.2 数据准备 236

10.3 回归问题K近邻算法示例 237

10.4 分类问题K近邻算法示例 240

10.5 习题 246

第11章 主成分分析算法 248

11.1 主成分分析算法简介 248

11.2 数据准备 252

11.3 主成分分析算法示例 256

11.4 习题 261

第12章 聚类分析算法 262

12.1 聚类分析算法简介 262

12.2 数据准备 267

12.3 划分聚类分析算法示例 271

12.4 层次聚类分析算法示例 273

12.5 习题 279

第13章 决策树算法 280

13.1 决策树算法简介 280

13.2 数据准备 285

13.3 分类问题决策树算法示例 287

13.4 回归问题决策树算法示例 298

13.5 习题 305

第14章 随机森林算法 307

14.1 随机森林算法的基本原理 307

14.2 数据准备 310

14.3 分类问题随机森林算法示例 311

14.4 回归问题随机森林算法示例 320

14.5 习题 327

第15章 提升法 329

15.1 提升法的基本原理 329

15.2 数据准备 338

15.3 回归提升法示例 340

15.4 二分类提升法示例 349

15.5 多分类提升法示例 356

15.6 习题 362

第16章 支持向量机算法 364

16.1 支持向量机算法的基本原理 364

16.2 数据准备 375

16.3 回归支持向量机算法示例 376

16.4 二分类支持向量机算法示例 379

16.5 多分类支持向量机算法示例 386

16.6 习题 391

第17章 神经网络算法 393

17.1 神经网络算法的基本原理 393

17.2 数据准备 410

17.3 回归神经网络算法示例 411

17.4 二分类神经网络算法示例 418

17.5 多分类神经网络算法示例 423

17.6 习题 427