大数据技术原理与应用 概念、存储、处理、分析与应用 第4版

第 1篇　大数据基础



第 1章　大数据概述　2

1.1　大数据时代　2

1.1.1　第三次信息化浪潮　2

1.1.2　信息科技为大数据时代提供技术支撑　3

1.1.3　数据产生方式的变革促成大数据时代的到来　4

1.1.4　大数据的发展历程　5

1.2　什么是大数据　7

1.2.1　数据量大　7

1.2.2　数据类型繁多　8

1.2.3　处理速度快　9

1.2.4　价值密度低　9

1.3　大数据的影响　10

1.3.1　大数据对科学研究的影响　10

1.3.2　大数据对思维方式的影响　11

1.3.3　大数据对社会发展的影响　12

1.3.4　大数据对就业市场的影响　13

1.3.5　大数据对人才培养的影响　13

1.4　大数据的应用　14

1.4.1　大数据在各个领域的应用　15

1.4.2　大数据应用的3个层次　16

1.5　大数据关键技术　17

1.6　大数据计算模式　18

1.6.1　批处理计算　18

1.6.2　流计算　18

1.6.3　图计算　19

1.6.4　查询分析计算　19

1.7　大数据产业　19

1.8　大数据与云计算、物联网　21

1.8.1　云计算　21

1.8.2　物联网　24

1.8.3　大数据与云计算、物联网的关系　28

1.9　本章小结　29

1.10　习题　30

第 2章　大数据处理架构Hadoop　31

2.1　Hadoop概述　31

2.1.1　Hadoop简介　31

2.1.2　Hadoop的发展简史　31

2.1.3　Hadoop的特性　32

2.1.4　Hadoop的应用现状　32

2.1.5　Hadoop的版本　33

2.2　Hadoop生态系统　33

2.2.1　HDFS　34

2.2.2　HBase　34

2.2.3　MapReduce　34

2.2.4　Hive　34

2.2.5　Pig　35

2.2.6　Mahout　35

2.2.7　ZooKeeper　35

2.2.8　Flume　35

2.2.9　Kafka　35

2.2.10　Ambari　35

2.3　Hadoop的安装与使用　36

2.3.1　创建hadoop用户　36

2.3.2　更新apt和安装Vim编辑器　37

2.3.3　安装SSH和配置SSH无密码登录　37

2.3.4　安装Java环境　37

2.3.5　安装单机Hadoop　38

2.3.6　Hadoop伪分布式安装　39

2.4　本章小结　41

2.5　习题　42

实验1　熟悉常用的Linux操作和Hadoop操作　42



第 2篇　大数据存储与管理



第3章　分布式文件系统HDFS　48

3.1　分布式文件系统　48

3.1.1　计算机集群的基本架构　48

3.1.2　分布式文件系统的结构　49

3.1.3　分布式文件系统的设计需求　50

3.2　HDFS简介　50

3.3　HDFS的相关概念　51

3.3.1　数据块　52

3.3.2　名称节点和数据节点　52

3.3.3　第二名称节点　53

3.4　HDFS体系结构　54

3.4.1　HDFS概述　54

3.4.2　HDFS命名空间管理　55

3.4.3　通信协议　56

3.4.4　客户端　56

3.4.5　HDFS体系结构的局限性　56

3.5　HDFS的存储原理　56

3.5.1　数据的冗余存储　56

3.5.2　数据存取策略　57

3.5.3　数据错误与恢复　58

3.6　HDFS的数据读写过程　59

3.6.1　读数据的过程　59

3.6.2　写数据的过程　60

3.7　HDFS编程实践　61

3.7.1　HDFS常用命令　61

3.7.2　HDFS的Web页面　63

3.7.3　HDFS常用Java API及应用实例　64

3.8　本章小结　67

3.9　习题　67

实验2　熟悉常用的HDFS操作　68

第4章　分布式数据库HBase　70

4.1　HBase概述　70

4.1.1　从BigTable说起　70

4.1.2　HBase简介　70

4.1.3　HBase与传统关系数据库的对比分析　71

4.2　HBase访问接口　72

4.3　HBase数据模型　73

4.3.1　数据模型概述　73

4.3.2　数据模型的相关概念　73

4.3.3　数据坐标　74

4.3.4　概念视图　75

4.3.5　物理视图　75

4.3.6　面向列的存储　76

4.4　HBase的实现原理　78

4.4.1　HBase的功能组件　78

4.4.2　表和Region　79

4.4.3　Region的定位　79

4.5　HBase运行机制　81

4.5.1　HBase的系统架构　81

4.5.2　Region服务器的工作原理　83

4.5.3　Store的工作原理　84

4.5.4　HLog文件的工作原理　85

4.6　HBase编程实践　85

4.6.1　HBase常用的Shell命令　86

4.6.2　HBase常用的Java API及应用实例　88

4.7　本章小结　98

4.8　习题　99

实验3　熟悉常用的HBase操作　99

第5章　NoSQL数据库　102

5.1　NoSQL数据库简介　102

5.2　NoSQL数据库兴起的原因　103

5.2.1　关系数据库无法满足Web 2.0的需求　103

5.2.2　关系数据库的关键特性在Web 2.0时代成为“鸡肋”　104

5.3　NoSQL数据库与关系数据库的简单比较　105

5.4　NoSQL数据库的四大类型　106

5.4.1　键值数据库　107

5.4.2　列族数据库　108

5.4.3　文档数据库　108

5.4.4　图数据库　109

5.5　NoSQL数据库的三大基石　109

5.5.1　第 一大基石：CAP　109

5.5.2　第二大基石：BASE　111

5.5.3　第三大基石：*终一致性　113

5.6　从NoSQL数据库到NewSQL数据库　113

5.7　本章小结　115

5.8　习题　115

实验4　NoSQL数据库和关系数据库的操作比较　115

第6章　云数据库　119

6.1　云数据库概述　119

6.1.1　云计算是云数据库兴起的基础　119

6.1.2　云数据库的概念　120

6.1.3　云数据库的特性　121

6.1.4　云数据库是个性化数据存储需求的理想选择　123

6.1.5　云数据库与其他数据库的关系　123

6.2　云数据库产品　124

6.2.1　主流云数据库厂商简介　124

6.2.2　亚马逊的云数据库产品　125

6.2.3　谷歌的云数据库产品　125

6.2.4　微软的云数据库产品　125

6.2.5　其他云数据库产品　126

6.3　云数据库系统架构　127

6.3.1　UMP系统概述　127

6.3.2　UMP系统架构　127

6.3.3　UMP系统功能　130

6.4　本章小结　132

6.5　习题　132



第3篇　大数据处理与分析



第7章　MapReduce　134

7.1　MapReduce概述　134

7.1.1　分布式并行编程　134

7.1.2　MapReduce模型简介　135

7.1.3　Map和Reduce函数　135

7.2　MapReduce的工作流程　136

7.2.1　MapReduce工作流程概述　136

7.2.2　MapReduce工作流程的各个执行阶段　137

7.2.3　Shuffle过程详解　138

7.3　实例分析：WordCount　141

7.3.1　WordCount的程序任务　141

7.3.2　WordCount的设计思路　141

7.3.3　WordCount的具体执行过程　142

7.3.4　一个WordCount执行过程的实例　143

7.4　MapReduce的具体应用　144

7.4.1　关系代数运算　144

7.4.2　分组与聚合运算　146

7.4.3　矩阵-向量乘法　146

7.4.4　矩阵乘法　146

7.5　MapReduce编程实践　147

7.5.1　任务要求　147

7.5.2　编写Map处理逻辑　148

7.5.3　编写Reduce处理逻辑　149

7.5.4　编写main函数　149

7.5.5　编译打包代码以及运行程序　150

7.6　本章小结　153

7.7　习题　153

实验5　MapReduce初级编程实践　154

第8章　Hadoop再探讨　157

8.1　Hadoop的优化　157

8.1.1　Hadoop的局限与不足　157

8.1.2　针对Hadoop的改进与提升　158

8.2　HDFS 2.0的新特性　158

8.2.1　HDFS HA　158

8.2.2　HDFS联邦　160

8.3　新一代资源调度管理框架YARN　161

8.3.1　MapReduce 1.0的缺陷　162

8.3.2　YARN设计思路　162

8.3.3　YARN体系结构　163

8.3.4　YARN工作流程　165

8.3.5　YARN框架与MapReduce 1.0框架的对比分析　166

8.3.6　YARN的发展目标　167

8.4　本章小结　168

8.5　习题　168

第9章　数据仓库Hive　169

9.1　数据仓库的概念　169

9.2　数据湖　171

9.2.1　数据湖的概念　171

9.2.2　数据湖与数据仓库的区别　172

9.2.3　数据湖能解决的企业问题　173

9.3　湖仓一体　173

9.4　数据仓库Hive概述　174

9.4.1　传统数据仓库面临的挑战　174

9.4.2　Hive简介　175

9.4.3　Hive与Hadoop生态系统中其他组件的关系　175

9.4.4　Hive与传统数据库的对比分析　176

9.4.5　Hive在企业中的部署和应用　176

9.5　Hive系统架构　178

9.6　Hive工作原理　178

9.6.1　SQL语句转换成MapReduce作业的基本原理　179

9.6.2　SQL查询转换成MapReduce作业的过程　180

9.7　Hive HA基本原理　181

9.8　Impala　182

9.8.1　Impala简介　182

9.8.2　Impala的系统架构　183

9.8.3　Impala查询的执行过程　183

9.8.4　Impala与Hive的比较　184

9.9　Hive编程实践　185

9.9.1　Hive的数据类型　185

9.9.2　Hive的基本操作　186

9.9.3　Hive应用实例：WordCount　189

9.9.4　Hive编程的优势　189

9.10　本章小结　190

9.11　习题　190

实验6　熟悉Hive的基本操作　191

第 10章　Spark　193

10.1　Spark概述　193

10.1.1　Spark简介　193

10.1.2　Scala简介　194

10.1.3　Spark与Hadoop的对比　194

10.2　Spark生态系统　196

10.3　Spark运行架构　198

10.3.1　基本概念　198

10.3.2　架构设计　198

10.3.3　Spark运行基本流程　199

10.3.4　RDD的设计与运行原理　200

10.4　Spark的部署模式和应用方式　209

10.4.1　Spark的部署模式　209

10.4.2　从“Hadoop Storm”架构转向Spark架构　210

10.4.3　Hadoop和Spark的统一部署　211

10.5　Spark编程实践　212

10.5.1　启动Spark Shell　212

10.5.2　RDD基本操作　212

10.5.3　Spark应用程序　217

10.6　本章小结　221

10.7　习题　222

实验7　Spark初级编程实践　222

第 11章　流计算　225

11.1　流计算概述　225

11.1.1　静态数据和流数据　225

11.1.2　批量计算和实时计算　226

11.1.3　流计算的概念　226

11.1.4　流计算与Hadoop　227

11.1.5　流计算框架与平台　227

11.2　流计算的处理流程　228

11.2.1　概述　228

11.2.2　数据实时采集　229

11.2.3　数据实时计算　229

11.2.4　实时查询服务　229

11.3　流计算的应用场景　230

11.3.1　应用场景1：实时分析　230

11.3.2　应用场景2：实时交通　231

11.4　流计算框架Storm　231

11.5　流计算框架Spark Streaming　232

11.6　流处理框架Structured Streaming　233

11.6.1　Structured Streaming简介　233

11.6.2　Structured Streaming的关键思想　233

11.6.3　Structured Streaming的两种处理模型　234

11.7　流计算框架Flink　235

11.8　本章小结　236

11.9　习题　236

第 12章　Flink　237

12.1　Flink简介　237

12.2　为什么选择Flink　237

12.2.1　传统数据处理架构　238

12.2.2　大数据Lambda架构　238

12.2.3　流处理架构　239

12.2.4　Flink是理想的流计算框架　240

12.2.5　Flink的优势　240

12.3　Flink典型应用场景　241

12.3.1　事件驱动型应用　241

12.3.2　数据分析应用　242

12.3.3　数据流水线应用　243

12.4　Flink核心组件栈　244

12.5　Flink体系架构　244

12.6　Flink编程模型　246

12.7　Flink编程实践　246

12.7.1　安装Flink　246

12.7.2　编程实现WordCount程序　248

12.8　本章小结　252

12.9　习题　252

实验8　Flink初级编程实践　253

第 13章　图计算　254

13.1　图计算简介　254

13.1.1　传统图计算解决方案的不足之处　254

13.1.2　通用图计算软件　255

13.2　Pregel简介　256

13.3　Pregel图计算模型　256

13.3.1　有向图和顶点　256

13.3.2　顶点之间的消息传递　256

13.3.3　Pregel计算过程　257

13.3.4　Pregel计算过程的实例　258

13.4　Pregel的C API　260

13.4.1　消息传递机制　261

13.4.2　Combiner　261

13.4.3　Aggregator　262

13.4.4　拓扑改变　262

13.4.5　输入和输出　262

13.5　Pregel的体系结构　263

13.5.1　Pregel的执行过程　263

13.5.2　容错性　264

13.5.3　Worker　265

13.5.4　Master　265

13.5.5　Aggregator　266

13.6　Pregel的应用实例　266

13.6.1　单源*短路径问题　266

13.6.2　二分匹配问题　267

13.7　Pregel和MapReduce实现PageRank算法的对比　268

13.7.1　PageRank算法　269

13.7.2　PageRank算法在Pregel中的实现　269

13.7.3　PageRank算法在MapReduce中的实现　270

13.7.4　PageRank算法在Pregel 和MapReduce中实现方式的比较　272

13.8　本章小结　272

13.9　习题　273





第4篇　大数据应用



第 14章　大数据应用　276

14.1　大数据在互联网领域的应用　276

14.2　大数据在生物医学领域的应用　277

14.2.1　流行病预测　277

14.2.2　智慧医疗　278

14.2.3　生物信息学　279

14.3　大数据在物流领域的应用　279

14.3.1　智能物流的概念　280

14.3.2　大数据是智能物流的关键　280

14.3.3　中国智能物流骨干网—菜鸟　280

14.4　大数据在城市管理领域的应用　281

14.4.1　智能交通　281

14.4.2　环保监测　282

14.4.3　城市规划　282

14.4.4　安防　283

14.5　大数据在金融领域的应用　283

14.5.1　高频交易　284

14.5.2　市场情绪分析　284

14.5.3　信贷风险分析　284

14.5.4　大数据征信　285

14.6　大数据在汽车领域的应用　286

14.7　大数据在零售领域的应用　286

14.7.1　发现关联购买行为　286

14.7.2　客户群体细分　287

14.7.3　供应链管理　288

14.8　大数据在餐饮领域的应用　288

14.8.1　餐饮领域拥抱大数据　288

14.8.2　餐饮O2O　288

14.9　大数据在电信领域的应用　289

14.10　大数据在能源领域的应用　290

14.11　大数据在体育和娱乐领域的应用　291

14.11.1　训练球队　291

14.11.2　投拍影视作品　291

14.11.3　预测比赛结果　292

14.12　大数据在安全领域的应用　292

14.12.1　“棱镜门”事件　292

14.12.2　应用大数据技术防御网络攻击　293

14.12.3　应用大数据工具预防犯罪　293

14.13　大数据在日常生活中的应用　294

14.14　本章小结　295

14.15　习题　296

参考文献　297