大数据解析与应用导论(赵春晖)

1绪论1
1.1统计学基础1
1.1.1期望、方差、协方差1
1.1.2一元高斯分布3
1.1.3多元高斯分布3
1.1.4KL散度4
1.2人工智能简介4
1.2.1人工智能的概念5
1.2.2人工智能的发展5
1.2.3人工智能的学派7
1.3机器学习7
1.3.1基本概念8
1.3.2机器学习的范式8
1.3.3机器学习的三要素9
1.3.4过拟合与正则化11
1.3.5偏差与方差12
1.4深度学习14
1.4.1生物神经网络14
1.4.2人工神经网络15
1.4.3主流的深度学习框架16
本章小结17
习题117
参考文献18

2数据预处理与特征工程20
2.1数据预处理20
2.1.1数据清洗21
2.1.2数据变换24
2.2特征工程27
2.2.1特征提取27
2.2.2特征选择27
2.3应用实例30
2.3.1数据集简介与环境准备30
2.3.2数据集导入与字段理解31
2.3.3缺失值处理31
2.3.4异常值处理32
2.3.5数据变换33
2.3.6特征工程34
2.3.7案例小结34
本章小结34
习题235
参考文献36

3数据降维37
3.1数据降维简介37
3.2主成分分析算法38
3.2.1主成分分析算法简介38
3.2.2主成分分析的数学原理38
3.2.3主成分分析的直观理解40
3.3慢特征分析算法41
3.3.1慢特征分析算法简介41
3.3.2慢特征分析的数学原理41
3.3.3慢特征分析的直观理解43
3.4应用实例44
3.4.1主成分分析的数值示例44
3.4.2主成分分析的应用示例45
本章小结47
习题347
参考文献48

4回归分析50
4.1回归分析基本概念50
4.1.1回归的起源50
4.1.2回归模型的建立及应用51
4.1.3回归模型分类52
4.1.4回归模型效果评估52
4.2*小二乘回归53
4.2.1*小二乘法拟合目标53
4.2.2*小二乘回归原理54
4.2.3*小二乘法的几何意义56
4.2.4*小二乘法的缺陷57
4.3岭回归与LASSO回归57
4.3.1岭回归算法58
4.3.2LASSO回归算法61
4.3.3线性回归模型的正则化项63
4.4主元回归64
4.4.1维数灾难64
4.4.2主元回归建模65
4.4.3主成分个数选取65
4.4.4主元回归与岭回归66
4.5偏*小二乘回归66
4.5.1偏*小二乘建模67
4.5.2目标函数与算法推导67
4.5.3潜变量个数确定69
4.6回归案例分析70
本章小结72
习题472
参考文献73

5聚类分析75
5.1基本思想与概念75
5.1.1聚类的概念75
5.1.2聚类算法分类76
5.2相似性度量77
5.2.1相似性度量的基本概念77
5.2.2距离度量77
5.2.3相关系数81
5.2.4选择相似性衡量手段的原则82
5.3K-均值聚类算法简介83
5.3.1算法思想83
5.3.2算法流程84
5.3.3算法关键影响因素85
5.3.4算法应用：图像压缩86
5.4高斯混合模型简介87
5.4.1算法介绍87
5.4.2利用GMM算法进行聚类88
5.4.3算法示例88
本章小结91
习题591
参考文献92

6判别分析93
6.1基本理论93
6.1.1判别的基本概念93
6.1.2判别的效果评估94
6.2距离判别94
6.3贝叶斯判别95
6.3.1贝叶斯的统计思想96
6.3.2贝叶斯*小错误率判别96
6.3.3贝叶斯*小风险判别97
6.3.4先验概率的选取97
6.3.5多总体贝叶斯判别准则98
6.3.6多总体贝叶斯判别函数98
6.4Fisher判别100
6.4.1Fisher判别的基本思想100
6.4.2Fisher判别的优化目标100
6.4.3多分类问题101
6.4.4Fisher判别的分析步骤102
6.4.5案例分析103
本章小结104
习题6104
参考文献105

7支持向量机107
7.1线性可分支持向量机107
7.1.1线性可分的概念107
7.1.2间隔*大化108
7.1.3支持向量机求解109
7.2软间隔支持向量机111
7.3非线性支持向量机112
7.4支持向量回归114
7.5支持向量机实例116
7.5.1线性可分支持向量机实例116
7.5.2非线性支持向量机实例117
本章小结118
习题7118
参考文献119

8典型相关分析120
8.1基本概念120
8.1.1CCA的历史及用途120
8.1.2CCA的思想121
8.1.3CCA的扩展方法122
8.2典型相关分析算法介绍122
8.3CCA算法拓展125
8.3.1多视角CCA125
8.3.2核CCA127
8.3.3深度CCA128
8.3.4判别CCA128
8.3.5局部保留CCA130
8.4典型相关分析案例分析130
8.4.1案例一：城市竞争力分析130
8.4.2案例二：多标签分类132
本章小结134
习题8135
参考文献136

9决策树与随机森林138
9.1决策树基本内容138
9.2决策树算法介绍139
9.2.1信息熵和信息增益140
9.2.2剪枝算法142
9.3随机森林介绍143
9.4应用实例145
9.4.1Python实现决策树145
9.4.2Python实现随机森林146
本章小结148
习题9149
参考文献150

10神经网络151
10.1基本概念151
10.1.1基本结构——神经元模型151
10.1.2感知机152
10.1.3多层前馈神经网络153
10.1.4激活函数153
10.1.5误差反向传播算法155
10.2深度神经网络157
10.2.1模型优化方法157
10.2.2参数初始化160
10.2.3数据预处理161
10.2.4防止过拟合162
10.2.5数据增强162
10.3宽度学习（BLS）简介163
10.3.1BLS产生背景163
10.3.2RVFLNN简介164
10.3.3BLS算法介绍164
10.3.4BLS实际应用案例168
本章小结169
习题10169
参考文献170

11卷积神经网络172
11.1卷积神经网络基础172
11.1.1卷积172
11.1.2池化（pooling）174
11.1.3卷积神经网络的优点175
11.1.4LeNet176
11.2卷积网络进阶与实例178
11.2.1特殊的卷积核178
11.2.2卷积网络实例181
本章小结185
习题11185
参考文献186

12循环神经网络187
12.1循环神经网络基础187
12.1.1RNN的用途187
12.1.2RNN的结构及工作方式188
12.1.3LSTM的结构及计算方式189
12.2循环神经网络进阶191
12.2.1残差循环神经网络191
12.2.2门控循环单元GRU192
12.2.3双向循环神经网络193
12.2.4堆叠循环神经网络194
本章小结194
习题12195
参考文献196

13自编码器197
13.1自编码器简介197
13.1.1回顾：监督学习、半监督学习、无监督学习197
13.1.2生成模型与判别模型198
13.1.3自编码器的公式化表述199
13.1.4关于自编码器的讨论199
13.1.5常见的自编码器变体200
13.2稀疏自编码器201
13.2.1稀疏自编码器结构201
13.2.2堆栈自编码器结构203
13.2.3堆栈稀疏自编码器206
13.3去噪自编码器206
13.3.1原理介绍206
13.3.2训练过程207
13.3.3堆栈去噪自编码器208
13.3.4稀疏去噪自编码器209
13.3.5流形学习角度看去噪自编码器210
13.3.6小结211
13.4变分自编码器211
13.4.1变分自编码器的引出212
13.4.2变分自编码器的推导212
13.4.3变分自编码器的网络结构214
13.4.4变分自编码器的实例214
13.4.5变分自编码器的拓展216
13.4.6小结217
本章小结217
习题13217
参考文献219

14集成学习221
14.1集成学习简介221
14.1.1基本概念与模型结合策略221
14.1.2小结225
14.2集成学习：Bagging225
14.2.1算法简介225
14.2.2Bagging算法的自助采样226
14.2.3Bagging算法的结合策略227
14.2.4偏差与方差分析230
14.3集成学习：Boosting233
14.3.1算法简介233
14.3.2AdaBoost234
14.3.3GBDT238
14.4应用实例240
14.4.1Bagging实例：Random Forest240
14.4.2Boosting实例：AdaBoost244
本章小结245
习题14246
参考文献247

15案例分析249
15.1二手车交易价格预测249
15.1.1案例背景249
15.1.2数据概览与评测标准249
15.1.3整体思路251
15.1.4数据分析与预处理251
15.1.5特征工程与特征筛选253
15.1.6平均值编码253
15.1.7数据建模与融合255
15.1.8小结256
15.2糖尿病的血糖预测256
15.2.1背景介绍257
15.2.2数据获取257
15.2.3数据预处理257
15.2.4算法与实验结果259
15.2.5小结263
15.3工业蒸汽量预测263
15.3.1数据集介绍263
15.3.2数据清洗与特征工程263
15.3.3基本回归模型训练与分析264
15.3.4XGBoost模型训练与结果分析266
15.3.5小结268
15.4双盲降噪自编码器实现降噪268
15.4.1软测量任务需求268
15.4.2问题分析269
15.4.3去噪算法概述270
15.4.4双盲降噪自编码器271
15.4.5DBDAE降噪与软测量272
15.4.6小结276
15.5心率异常检测276
15.5.1心电图数据277
15.5.2基于残差神经网络的心电诊断277
15.5.3基于知识+特征工程的心电诊断279
15.5.4小结284
本章小结284
习题15284
参考文献286