包邮大数据导论

第1章 绪论 1
1.1　数据 1
1.1.1 数据的构成 2
1.1.2 数据的存储容量单位 4
1.2　大数据的相关概念 4
1.2.1 大数据的概念 4
1.2.2 大数据的基本特征 5
1.3　大数据的意义、价值与作用 6
1.3.1 大数据的意义 7
1.3.2 大数据的价值 8
1.3.3 大数据的作用 9
1.4　大数据时代的新变革 10
1.4.1 大数据带来的思维变革 10
1.4.2 大数据带来的社会变革 12
1.5　大数据处理的主要环节 14
1.6　大数据的安全与共享 16
1.6.1 大数据的开放与共享 16
1.6.2 大数据安全与个人隐私保护 17
1.6.3 我国大数据相关的安全政策法规 18
1.7　大数据的发展现状与发展趋势 20
1.7.1 大数据的发展现状 20
1.7.2 大数据的发展趋势 24
1.7.3 大数据时代面临的技术挑战 26
1.8　本章小结 27
1.9　习题 27
第2章 大数据相关技术 29
2.1　云计算与大数据 29
2.1.1 云计算的基本概念 29
2.1.2 云计算的基本要素与优势 31
2.1.3 云计算的体系架构 33
2.1.4 云计算的核心技术 36
2.1.5 云计算的发展现状与主流平台 38
2.1.6 云计算与大数据的关系 44
2.2　人工智能与大数据 44
2.2.1 人工智能的基本概念 45
2.2.2 人工智能的研究领域 47
2.2.3 人工智能的产业与应用 52
2.2.4 人工智能与大数据的关系 55
2.3　物联网与大数据 56
2.3.1 物联网的基本概念 57
2.3.2 物联网的核心技术 59
2.3.3 物联网的产业与应用 62
2.3.4 物联网、云计算、人工智能与大数据的关系 65
2.4　本章小结 66
2.5　习题 66
第3章 大数据采集与预处理 68
3.1　认识数据 68
3.1.1 数据的属性和类型 68
3.1.2 数据的量纲 69
3.2　大数据的来源和采集途径 70
3.2.1 大数据的来源 70
3.2.2 大数据的采集途径 70
3.3　常用的大数据采集工具 72
3.3.1 爬山虎采集器 72
3.3.2 八爪鱼采集器 74
3.3.3 基于Python的网页抓取框架Scrapy 75
3.3.4 日志采集工具Flume 76
3.3.5 分布式消息服务工具Kafka 78
3.4　数据预处理 79
3.4.1 数据清洗 79
3.4.2 数据集成 83
3.4.3 数据变换 84
3.4.4 数据归约 88
3.5　使用OpenRefine对数据进行预处理 88
3.6　本章小结 93
3.7　习题 93
第4章 大数据处理 95
4.1　大数据处理框架 95
4.1.1 主流大数据处理框架的简介 95
4.1.2 批处理框架Hadoop简介 98
4.1.3 流处理框架Storm简介 101
4.1.4 混合处理框架Spark简介 106
4.2　大数据存储与管理 108
4.2.1 经典数据存储与管理技术 108
4.2.2 分布式大数据存储与管理技术 110
4.2.3 分布式文件系统HDFS 112
4.2.4 分布式数据库系统HBase 116
4.2.5 分布式数据仓库系统Hive 118
4.3　大数据分布式计算 121
4.3.1 分布式批处理框架Hadoop 121
4.3.2 分布式流处理框架Storm 125
4.3.3 分布式混合处理框架Spark 127
4.4　本章小结 131
4.5　习题 131
第5章 大数据分析与挖掘 133
5.1　引言 133
5.2　描述性数据分析 134
5.2.1 数据的集中趋势度量 134
5.2.2 数据的离散趋势度量 135
5.2.3 数据的偏态特性度量 137
5.2.4 使用Excel对数据进行描述统计 138
5.3　回归分析 139
5.3.1 一元线性回归模型 139
5.3.2 其他类型的回归模型 142
5.4　关联分析的简介 144
5.4.1 “啤酒与尿布”的故事 144
5.4.2 常用的关联分析算法 145
5.5　分类算法的简介 148
5.5.1 近邻分类算法 149
5.5.2 决策树算法 150
5.6　聚类算法的简介 151
5.6.1 主要的聚类算法类型 152
5.6.2 k均值聚类算法 153
5.6.3 层次聚类算法 154
5.7　分布式数据挖掘算法 156
5.8　数据挖掘技术的典型应用 157
5.8.1 数据挖掘技术在生物信息学中的应用 157
5.8.2 数据挖掘技术在市场营销领域中的应用 158
5.8.3 数据挖掘技术在教育领域中的应用 159
5.8.4 数据挖掘技术在金融领域中的应用 159
5.9　本章小结 160
5.10　习题 160
第6章 大数据可视化 162
6.1　引言 162
6.1.1 什么是数据可视化 162
6.1.2 数据可视化的若干案例 163
6.1.3 数据可视化的作用 165
6.2　数据可视化的案例 165
6.2.1 数据集的简介 166
6.2.2 发展趋势图 166
6.2.3 人数分布图 167
6.3　图形元素和视觉通道 168
6.4　数据可视化的常用方法 172
6.4.1 趋势型数据可视化方法 172
6.4.2 对比型数据可视化方法 174
6.4.3 比例型数据可视化方法 176
6.4.4 分布型数据可视化方法 178
6.4.5 文本数据可视化方法 180
6.4.6 关系网络数据可视化方法 181
6.4.7 时空数据可视化方法 182
6.4.8 层次结构数据可视化方法 183
6.4.9 高维数据可视化方法 184
6.5　数据可视化的常用工具和软件的简介 185
6.5.1 FineBI数据可视化工具的简介 186
6.5.2 Tableau数据可视化工具的简介 190
6.5.3 Python的Matplotlib的简介 191
6.5.4 ECharts数据可视化编程库的简介 193
6.6　本章小结 194
6.7　习题 195
第7章 大数据安全、开放与共享 196
7.1　大数据安全与隐私保护 196
7.1.1 大数据安全与隐私保护的概念 196
7.1.2 大数据安全与隐私保护的挑战 198
7.1.3 大数据安全与隐私保护的策略 200
7.1.4 大数据信息安全技术的应用 201
7.2　大数据生命周期中的安全与隐私 204
7.2.1 大数据采集与传输中的安全与隐私 204
7.2.2 大数据存储中的安全与隐私 206
7.2.3 大数据分析与挖掘中的安全与隐私 207
7.3　大数据开放与共享 208
7.3.1 大数据开放与共享的概念 208
7.3.2 大数据开放与共享的类别关系 209
7.3.3 大数据开放与共享的挑战 212
7.3.4 数据孤岛问题 215
7.3.5 大数据开放与共享的措施 220
7.4　大数据安全的典型案例 222
7.4.1 大数据安全与隐私泄露的典型案例 222
7.4.2 大数据开放与共享的典型案例 224
7.4.3 大数据信息安全应用的典型案例 225
7.5　本章小结 227
7.6　习题 227
第8章 大数据的行业应用 229
8.1　互联网大数据的应用 229
8.1.1 互联网大数据的简介 229
8.1.2 零售业互联网大数据的应用 232
8.1.3 房地产业互联网大数据的应用 233
8.1.4 餐饮业互联网大数据的应用 234
8.2　金融大数据的应用 236
8.2.1 金融大数据的简介 236
8.2.2 银行业金融大数据的应用 239
8.2.3 证券业金融大数据的应用 241
8.2.4 保险业金融大数据的应用 242
8.3　医疗大数据的应用 244
8.3.1 医疗大数据的简介 244
8.3.2 临床大数据的应用 247
8.3.3 健康管理大数据的应用 249
8.3.4 基因检测大数据的应用 251
8.4　工业大数据的应用 252
8.4.1 工业大数据的简介 252
8.4.2 设备故障诊断与健康管理 255
8.4.3 生产质量分析 258
8.4.4 生产效率优化 259
8.5　智慧城市大数据的应用 261
8.5.1 智慧城市大数据的简介 261
8.5.2 智慧政务大数据 264
8.5.3 智慧环境大数据 265
8.5.4 智慧教育大数据 268
8.6　本章小结 268
8.7　习题 269
参考文献 271