大数据分析原理与实践

目　　录
序
前言
教学建议
第1章　绪论 1
1.1　什么是大数据 1
1.2　哪里有大数据 3
1.3　什么是大数据分析 4
1.4　大数据分析的过程、技术与难点 5
1.5　全书概览 8
小结 10
习题 10
第2章　大数据分析模型 11
2.1　大数据分析模型建立方法 11
2.2　基本统计量 13
2.2.1　全表统计量 14
2.2.2　皮尔森相关系数 15
2.3　推断统计 16
2.3.1　参数估计 16
2.3.2　假设检验 20
2.3.3　假设检验的阿里云实现 23
小结 28
习题 28
第3章　关联分析模型 30
3.1　回归分析 31
3.1.1　回归分析概述 31
3.1.2　回归模型的拓展 35
3.1.3　回归的阿里云实现 43
3.2　关联规则分析 52
3.3　相关分析 54
小结 57
习题 58
第4章　分类分析模型 60
4.1　分类分析的定义 60
4.2　判别分析的原理和方法 61
4.2.1　距离判别法 61
4.2.2　Fisher判别法 64
4.2.3　贝叶斯判别法 67
4.3　基于机器学习分类的模型 71
4.3.1　支持向量机 72
4.3.2　逻辑回归 74
4.3.3　决策树与回归树 75
4.3.4　k近邻 78
4.3.5　随机森林 78
4.3.6　朴素贝叶斯 81
4.4　分类分析实例 82
4.4.1　二分类实例 82
4.4.2　多分类实例 94
小结 101
习题 102
第5章　聚类分析模型 105
5.1　聚类分析的定义 105
5.1.1　基于距离的亲疏关系度量 105
5.1.2　基于相似系数的相似性度量 108
5.1.3　个体与类以及类间的亲疏关系度量 110
5.1.4　变量的选择与处理 111
5.2　聚类分析的分类 111
5.3　聚类有效性的评价 112
5.4　聚类分析方法概述 112
5.5　聚类分析的应用 113
5.6　聚类分析的阿里云实现 114
小结 119
习题 119
第6章　结构分析模型 122
6.1　*短路径 122
6.2　链接排名 123
6.3　结构计数 125
6.4　结构聚类 126
6.5　社团发现 128
6.5.1　社团的定义 128
6.5.2　社团的分类 128
6.5.3　社团的用途 128
6.5.4　社团的数学定义 128
6.5.5　基于阿里云的社团发现 130
小结 132
习题 133
第7章　文本分析模型 135
7.1　文本分析模型概述 135
7.2　文本分析方法概述 136
7.2.1　SplitWord 136
7.2.2　词频统计 137
7.2.3　TF-IDF 138
7.2.4　PLDA 140
7.2.5　Word2Vec 147
小结 148
习题 149
第8章　大数据分析的数据预处理 150
8.1　数据抽样和过滤 150
8.1.1　数据抽样 150
8.1.2　数据过滤 154
8.1.3　基于阿里云的抽样和过滤实现 154
8.2　数据标准化与归一化 157
8.3　数据清洗 159
8.3.1　数据质量概述 159
8.3.2　缺失值填充 160
8.3.3　实体识别与真值发现 162
8.3.4　错误发现与修复 169
小结 171
习题 171
第9章　降维 173
9.1　特征工程 173
9.1.1　特征工程概述 173
9.1.2　特征变换 175
9.1.3　特征选择 178
9.1.4　特征重要性评估 183
9.2　主成分分析 191
9.2.1　什么是主成分分析 191
9.2.2　主成分分析的计算过程 192
9.2.3　基于阿里云的主成分分析 194
9.2.4　主成分的表现度量 195
9.3　因子分析 196
9.3.1　因子分析概述 196
9.3.2　因子分析的主要分析指标 196
9.3.3　因子分析的计算方法 197
9.4　压缩感知 203
9.4.1　什么是压缩感知 203
9.4.2　压缩感知的具体模型 204
9.5　面向神经网络的降维 205
9.5.1　面向神经网络的降维方法概述 205
9.5.2　如何利用神经网络降维 206
9.6　基于特征散列的维度缩减 207
9.6.1　特征散列方法概述 207
9.6.2　特征散列算法 207
9.7　基于Lasso算法的降维 208
9.7.1　Lasso方法简介 208
9.7.2　Lasso方法 209
9.7.3　Lasso算法的适用情景 211
小结 211
习题 212
第10章　面向大数据的数据仓库系统 214
10.1　数据仓库概述 214
10.1.1　数据仓库的基本概念 214
10.1.2　数据仓库的内涵 215
10.1.3　数据仓库的基本组成 215
10.1.4　数据仓库系统的体系结构 216
10.1.5　数据仓库的建立 217
10.2　分布式数据仓库系统 221
10.2.1　基于Hadoop的数据仓库系统 221
10.2.2　Shark：基于Spark的数据仓库系统 227
10.2.3　Mesa 228
10.3　内存数据仓库系统 231
10.3.1　SAP HANA 231
10.3.2　HyPer 234
10.4　阿里云数据仓库简介 236
小结 238
习题 239
第11章　大数据分析算法 240
11.1　大数据分析算法概述 240
11.2　回归算法 242
11.3　关联规则挖掘算法 248
11.4　分类算法 255
11.4.1　二分类算法 256
11.4.2　多分类算法 273
11.5　聚类算法 283
11.5.1　k-means算法 283
11.5.2　CLARANS算法 291
小结 293
习题 293
第12章　大数据计算平台 295
12.1　Spark 295
12.1.1　Spark简介 295
12.1.2　基于Spark的大数据分析实例 296
12.2　Hyracks 299
12.2.1　Hyracks简介 299
12.2.2　基于Hyracks的大数据分析实例 299
12.3　DPark