Hadoop技术原理与案例教程 微课版

**篇 分布式存储与计算基础

第1章　大数据基础

1.1　数据、信息和知识　2

1.2　大数据　3

1.2.1　大数据的发展历程　3

1.2.2　大数据的定义　5

1.3　数据分析流程　7

1.3.1　确定数据分析目标　7

1.3.2　数据采集　7

1.3.3　数据预处理　10

1.3.4　数据分析　11

1.4　大数据技术生态体系　13

1.5　大数据应用场景　17

1.5.1　基于大数据的电子商务　18

1.5.2　能源大数据体系建设　18

1.5.3　交通大数据体系建设　19

1.5.4　政务大数据体系建设　20

1.5.5　基于大数据的人口迁徙　21

1.5.6　农业大数据体系建设　21

1.6　本章小结　23

习题　23





第2章　Hadoop简介

2.1　Hadoop概述　25

2.1.1　起源　26

2.1.2　Hadoop发行版本　26

2.1.3　Hadoop架构变迁　27

2.1.4　Hadoop特点　27

2.2　Hadoop“生态圈”　28

2.3　Hadoop核心架构　29

2.3.1　HDFS　29

2.3.2　MapReduce　29

2.3.3　Yarn　30

2.4　Hadoop运行模式　30

2.4.1　本地模式　30

2.4.2　伪分布式模式　30

2.4.3　完全分布式模式　31

2.5　Hadoop集群搭建　31

2.5.1　集群规划　31

2.5.2　基本软件的安装　32

2.5.3　完全分布式集群的搭建　33

2.6　常见问题及解决方案　46

2.7　本章小结　47

习题　47



第3章　Hadoop分布式文件系统

3.1　HDFS概述　50

3.1.1　文件系统　50

3.1.2　传统文件系统　50

3.1.3　HDFS的引入　51

3.1.4　HDFS的设计目标　51

3.1.5　HDFS的使用场景　52

3.1.6　HDFS的局限性　52

3.2　HDFS的技术架构　53

3.2.1　分块存储　53

3.2.2　副本机制　55

3.2.3　NameNode　55

3.2.4　DataNode　56

3.2.5　SecondaryNameNode　57

3.2.6　BackupNode　58

3.2.7　HDFS写入数据流程　58

3.2.8　HDFS读取数据流程　59

3.3　HDFS的Shell操作　60

3.3.1　基本命令　60

3.3.2　上传命令　61

3.3.3　下载命令　61

3.3.4　高级操作　61

3.4　HDFS的API实战开发　62

3.4.1　环境介绍　62

3.4.2　pom.xml配置说明　62

3.4.3　HDFS操作　63

3.5　HDFS核心解密　65

3.5.1　再谈NameNode　65

3.5.2　节点的服役　67

3.5.3　节点的退役　68

3.5.4　DataNode多目录的配置　69

3.6　常见问题及解决方案　69

3.7　本章小结　70

习题　70



第4章　Hadoop分布式计算系统

4.1　MapReduce概述　74

4.2　WordCount入门　74

4.2.1　下载Hadoop配置文件　74

4.2.2　项目配置　75

4.2.3　打包在集群运行　77

4.3　MapReduce编程思想　78

4.3.1　MapReduce原理　79

4.3.2　MapReduce进程　80

4.3.3　MapReduce编程规范　80

4.4　Hadoop序列化　81

4.4.1　序列化与反序列化　81

4.4.2　Hadoop序列化要求　81

4.4.3　Hadoop序列化机制　82

4.5　MapReduce输入　83

4.6　Shuffle过程　87

4.6.1　Shuffle原理　87

4.6.2　分区　88

4.6.3　排序　89

4.6.4　分组　91

4.7　Combiner过程　92

4.8　MapReduce输出　93

4.9　常见问题及解决方案　94

4.10　本章小结　98

习题　98



第5章　Hadoop资源管理器Yarn

5.1　Yarn基本结构　100

5.1.1　ResourceManager　101

5.1.2　ApplicationMaster　101

5.1.3　NodeManager　102

5.1.4　Container　102

5.2　Yarn工作机制　102

5.3　Yarn资源调度器　103

5.3.1　FIFO Scheduler　104

5.3.2　Capacity Scheduler　104

5.3.3　Fair Scheduler　107

5.4　本章小结　107

习题　107



第6章　Hadoop案例开发

6.1　WordCount　109

6.2　*值　112

6.3　全排序　113

6.4　二次排序　115

6.5　MapReduce链　117

6.6　MapReduce数据合并　120

6.6.1　案例描述　120

6.6.2　Reduce JOIN实现　121

6.6.3　Map JOIN实现　124

6.7　本章小结　125

习题　125



第二篇　数据仓库Hive



第7章　Hive原理与应用

7.1　Hive简介　127

7.1.1　数据仓库简介　127

7.1.2　Hive起源　127

7.1.3　Hive的主要特点　128

7.1.4　Hive下载　128

7.1.5　Hive安装包　129

7.2　Hive组件简介　131

7.2.1　Hive元数据管理　131

7.2.2　Metastore　132

7.2.3　HiveServer2　132

7.3　Hive启动方式　133

7.3.1　Hive Metastore部署模式　133

7.3.2　JDBC访问Hive　139

7.4　Hive配置文件详解　142

7.4.1　Hive的核心配置文件　142

7.4.2　Hive运行环境参数配置　145

7.4.3　Hive的本地运行模式　146

7.5　本章小结　147

习题　147



第8章　Hive数据定义

8.1　Hive的数据结构　149

8.1.1　创建数据库与表　149

8.1.2　加载数据到表中　153

8.1.3　查询数据库与表　160

8.1.4　修改数据库与表　162

8.1.5　删除数据库与表　163

8.1.6　导出数据　164

8.2　Hive的数据类型　165

8.2.1　Hive原生数据类型　165

8.2.2　Hive复杂数据类型　169

8.2.3　数据类型转换　174

8.3　Hive的数据模型　175

8.3.1　外部表与内部表的定义与区别　176

8.3.2　分区的概念与作用　182

8.3.3　分桶的概念与作用　193

8.3.4　Hive数据表的序列化与反序列化　197

8.4　本章小结　199

习题　199



第9章　Hive数据分析基础

9.1　基于IntelliJ IDEA实现Hive操作　204

9.1.1　基于IntelliJ IDEA配置Hive　204

9.1.2　Hive服务器连接　204

9.1.3　Console功能区　206

9.2　数据查询　209

9.2.1　基本查询　209

9.2.2　分组查询　214

9.2.3　子查询　218

9.2.4　Hive的JOIN操作　220

9.2.5　Hive的JOIN原理　228

9.3　常用系统函数　231

9.3.1　聚合函数　231

9.3.2　窗口函数　232

9.3.3　表值函数　236

9.3.4　时间日期函数　238

9.3.5　字符串函数　240

9.3.6　数学函数　242

9.3.7　集合函数　243

9.4　自定义函数　244

9.4.1　UDF　245

9.4.2　UDAF　248

9.4.3　UDTF　250

9.5　本章小结　251

习题　251



第10章　Hive数据分析案例

10.1　数据分析流程与数据分析目标的选定　255

10.1.1　数据分析流程　255

10.1.2　数据分析目标的选定　255

10.2　常用数据分析方法　256

10.2.1　描述性数据分析　256

10.2.2　探索性数据分析　258

10.2.3　预测性数据分析　260

10.3　二手车数据集　261

10.3.1　数据集简介　261

10.3.2　数据分析目标　262

10.3.3　数据导入　262

10.4　二手车市场特征和需求探索案例　263

10.4.1　二手车数据描述性分析　263

10.4.2　二手车数据处理与转换　269

10.4.3　二手车数据探索性分析　270

10.4.4　二手车数据异常值与缺失值处理　271

10.5　二手车数据变量关系分析　272

10.5.1　相关系数简介　272

10.5.2　二手车数据相关系数分析　272

10.5.3　特征关系可视化分析　275

10.5.4　结果分析与结论　276

10.6　二手车数据聚类分析　277

10.7　本章小结　278

习题　278



第三篇　非关系数据库HBase



第11章　HBase基础知识

11.1　HBase概述　281

11.1.1　NoSQL的出现　281

11.1.2　HBase的出现　281

11.1.3　HBase的相关学习资源　281

11.2　HBase系统部署　281

11.2.1　版本选择　281

11.2.2　系统准备　282

11.2.3　组件的上传和解压　283

11.2.4　配置环境变量　283

11.2.5　配置ZooKeeper　284

11.2.6　配置HBase　284

11.3　HBase基本Shell操作　286

11.3.1　启动HBase Shell　286

11.3.2　创建和删除表　286

11.3.3　写入数据　287

11.3.4　查询数据　288

11.3.5　删除数据　289

11.3.6　表结构处理　289

11.4　HBase基本API操作　290

11.4.1　Maven工程基本结构　290

11.4.2　创建和删除表　291

11.4.3　写入数据　293

11.4.4　查询数据　294

11.4.5　删除数据　294

11.5　本章小结　295

习题　295





第12章　HBase原理与架构

12.1　HBase数据存储结构　297

12.1.1　大数据时代的MySQL　297

12.1.2　解决问题的思路　299

12.1.3　两类存储思路的对比　300

12.1.4　HBase的数据格式　300

12.2　HBase架构　300

12.2.1　HBase整体架构　301

12.2.2　客户端和HBase的通信过程　302

12.2.3　WAL与HLOG　302

12.2.4　HBase与HDFS　302

12.3　本章小结　303

习题　303



第13章　HBase案例开发

13.1　数据准备　304

13.2　基础统计任务　306

13.2.1　基本查询　306

13.2.2　过滤器　307

13.2.3　基本统计任务　310

13.3　高级统计任务　312

13.3.1　HBase on MapReduce　312

13.3.2　HBase with Hive　317

13.4　本章小结　318

习题　319



第四篇　综合案例



第14章　综合案例：维基百科数据挖掘

14.1　案例介绍　320

14.1.1　常见文本语料格式　320

14.1.2　语料介绍　321

14.2　案例步骤　322

14.2.1　数据的下载与上传　322

14.2.2　创建Hive外接表　325

14.2.3　正文字段预处理　328

14.2.4　文章单词统计　329

14.2.5　文章倒排表　330

14.2.6　正负面分析　332

14.3　本章小结　333

参考文献　334