精通Hadoop 3

第1部分 Hadoop 3简介

第1章 Hadoop 3简介 3

1.1 Hadoop起源和时间轴 3

1.1.1 Hadoop的起源 4

1.1.2 时间轴 5

1.2 Hadoop 3及其特性 7

1.3 Hadoop逻辑视图 8

1.4 Hadoop发行版本 10

1.4.1 本地版本 11

1.4.2 云版本 11

1.5 回顾 12

1.6 本章小结 12

第2章 深入理解Hadoop分布式文件系统 13

2.1 技术需求 13

2.2 定义HDFS 13

2.3 深入研究HDFS体系结构 14

2.3.1 HDFS逻辑结构 15

2.3.2 数据分组的概念 18

2.3.3 HDFS通信体系结构 19

2.4 NameNode内部机制 21

2.5 数据本地性和机架感知 22

2.6 DataNode内部机制 24

2.7 Quorum Journal Manager（QJM） 25

2.8 Hadoop 3.x中的高可用性 26

2.9 数据管理 27

2.9.1 元数据管理 28

2.9.2 使用二级NameNode的检查点 31

2.9.3 数据集成 32

2.9.4 HDFS快照 32

2.9.5 数据平衡机制 33

2.9.6 均衡器的*佳应用方案 35

2.10 HDFS写入、读取操作 36

2.10.1 写入工作流 36

2.10.2 读取工作流 38

2.10.3 短路读取 40

2.11 管理Hadoop 3.x中的磁盘倾斜数据 41

2.12 HDFS中的延迟持久化写入操作 42

2.13 Hadoop 3.x中的纠删码 43

2.13.1 纠删码的优点 45

2.13.2 纠删码的缺点 45

2.14 HDFS公共接口 45

2.14.1 HDFS读取操作 46

2.14.2 HDFS写入操作 48

2.14.3 HDFSFileSystemWrite.java文件 49

2.14.4 HDFS删除操作 50

2.15 HDFS命令参考 50

2.15.1 文件系统命令 50

2.15.2 分布式复制 52

2.15.3 管理命令 53

2.16 回顾 54

2.17 本章小结 54

第3章 YARN资源管理器 55

3.1 YARN体系结构 55

3.1.1 资源管理器组件 58

3.1.2 节点管理器核心 60

3.2 YARN作业调度机制简介 60

3.3 FIFO调度器 61

3.4 计算能力调度器 61

3.5 公平调度器 63

3.5.1 调度队列 63

3.5.2 配置公平调度器 64

3.6 资源管理器的高可用性 65

3.6.1 资源管理器高可用性的体系结构 66

3.6.2 配置资源管理器高可用性 67

3.7 节点标记 69

3.8 Hadoop 3.x中的YARN时间轴服务器 75

3.9 Hadoop 3.x中的机会型容器 77

3.10 YARN中的Docker容器 79

3.10.1 配置Docker容器 80

3.10.2 运行Docker镜像 80

3.10.3 运行容器 80

3.11 YARN REST API 81

3.11.1 资源管理API 81

3.11.2 节点管理器REST API 85

3.12 YARN命令参考 86

3.12.1 用户命令 87

3.12.2 应用程序命令 87

3.12.3 日志命令 88

3.12.4 管理员命令 89

3.13 本章小结 90

第4章 MapReduce内部机制 91

4.1 技术需求 91

4.2 深入了解Hadoop MapReduce框架 91

4.3 YARN和MapReduce 95

4.4 Hadoop框架中的MapReduce工作流 97

4.5 常见的MapReduce模式 100

4.5.1 求和模式 100

4.5.2 过滤模式 112

4.5.3 连接模式 116

4.5.4 复合连接 123

4.6 MapReduce用例 126

4.6.1 MovieRatingMapper 127

4.6.2 MovieRatingReducer 128

4.6.3 MovieRatingDriver 128

4.7 优化MapReduce 130

4.7.1 硬件配置 130

4.7.2 操作系统调试 131

4.7.3 优化技术 132

4.7.4 运行期配置 133

4.7.5 文件系统优化 133

4.8 本章小结 134

第2部分 Hadoop生态圈

第5章 Hadoop中的SQL 137

5.1 技术需求 137

5.2 Presto 137

5.2.1 Presto体系结构 138

5.2.2 安装Presto并执行基本的查询操作 139

5.2.3 函数 142

5.2.4 Presto连接器 144

5.3 Hive 147

5.3.1 Apache Hive体系结构 148

5.3.2 安装和运行Hive 149

5.3.3 Hive查询 150

5.3.4 选择文件格式 154

5.3.5 HCatalog简介 156

5.3.6 HiveServer2简介 157

5.3.7 Hive UDF 157

5.3.8 理解Hive中的ACID 161

5.3.9 分区机制和分桶机制 166

5.3.10 *佳实践 167

5.4 Impala 168

5.4.1 Impala体系结构 168

5.4.2 了解Impala接口和查询 170

5.4.3 Impala实战 171

5.4.4 加载CSV文件中的数据 173

5.4.5 *佳实践方案 175

5.5 本章小结 176

第6章 实时处理引擎 177

6.1 技术需求 177

6.2 Spark 177

6.2.1 Apache Spark内部机制 178

6.2.2 弹性分布式数据集 180

6.2.3 安装并运行**个Spark作业 182

6.2.4 累加器和广播变量 188

6.2.5 理解数据框和数据集 189

6.2.6 Spark集群管理器 192

6.2.7 *佳实践 193

6.3 Apache Flink 195

6.3.1 Flink体系结构 195

6.3.2 Apache Flink生态圈组件 196

6.3.3 数据流和数据集API 198

6.3.4 表API 201

6.3.5 *佳实践 203

6.4 Storm/Heron 204

6.4.1 Storm/Heron体系结构 205

6.4.2 理解Storm Trident 210

6.4.3 Storm集成 211

6.4.4 *佳实践 212

6.5 本章小结 212

第7章 Hadoop生态圈组件 213

7.1 技术需求 213

7.2 Pig 213

7.2.1 Apache Pig体系结构 214

7.2.2 安装并运行Pig 216

7.2.3 Pig Latin和Grunt 217

7.2.4 编写Pig中的UDF 218

7.2.5 Pig和Hive 221

7.2.6 *佳实践 222

7.3 HBase 222

7.3.1 HBase体系结构及其概念 223

7.3.2 CAP理论 225

7.3.3 HBase操作机器示例 227

7.3.4 安装 230

7.3.5 *佳实践 232

7.4 Kafka 233

7.4.1 Apache Kafka体系结构 234

7.4.2 安装和运行Apache Kafka 236

7.4.3 生产者和使用者的内部机制 238

7.4.4 编写生产者和使用者应用程序 241

7.4.5 Kafka的ETL连接 244

7.4.6 *佳实践 248

7.5 Flume 249

7.5.1 Apache Flume体系结构 249

7.5.2 深入理解源、通道和接收器 251

7.5.3 Flume拦截器 265

7.5.4 用例—Twitter数据 271

7.5.5 *佳实践 273

7.6 本章小结 274

第3部分 Hadoop的实际应用

第8章 定义Hadoop中的应用程序 277

8.1 技术需求 277

8.2 文件格式 277

8.2.1 了解文件格式 278

8.2.2 文本 279

8.2.3 序列文件 279

8.2.4 Avro 282

8.2.5 优化的行和列（ORC） 284

8.2.6 Parquet 285

8.3 数据压缩 285

8.3.1 Hadoop中的数据压缩类型 286

8.3.2 压缩格式 289

8.4 序列化 290

8.5 数据摄取 290

8.5.1 批量摄取 291

8.5.2 宏批处理摄取 292

8.5.3 实时摄取 293

8.6 数据处理 294

8.6.1 批处理 294

8.6.2 微批处理 296

8.6.3 实时处理 297

8.7 常见的批处理模式 298

8.7.1 缓时变维度 298

8.7.2 重复记录和小型文件 300

8.7.3 实时查找 301

8.8 针对编排的Airflow 302

8.9 数据治理 303

8.9.1 数据治理的主要内容 303

8.9.2 元数据管理 304

8.9.3 数据生命周期管理 305

8.9.4 数据分类 306

8.10 本章小结 307

第9章 Hadoop中的实时流处理 309

9.1 技术需求 309

9.2 流式数据集 309

9.3 流数据摄取 310

9.3.1 Flume中基于事件的数据摄取 310

9.3.2 Kafka 311

9.4 常见的流数据处理模式 313

9.5 流式设计 314

9.5.1 延迟 315

9.5.2 数据可用性、一致性和安全性 315

9.5.3 无界数据源 316

9.5.4 数据查找 316

9.5.5 数据格式 317

9.5.6 序列化数据 317

9.5.7 并行处理机制 317

9.5.8 无序事件 318

9.5.9 消息传递语义 318

9.6 微批处理用例 319

9.7 实时处理案例 328

9.7.1 主代码 333

9.7.2 执行代码 344

9.8 本章小结 345

第10章 Hadoop中的机器学习 347

10.1 技术需求 347

10.2 机器学习步骤 347

10.3 常见的机器学习挑战 348

10.4 Spark机器学习 349

10.4.1 转换器函数 350

10.4.2 评估器 351

10.4.3 Spark ML管线 351

10.5 Hadoop和R 352

10.6 Mahout 353

10.7 Spark中的机器学习案例 354

10.8 本章小结 358

第11章 云端中的Hadoop 359

11.1 技术需求 359

11.2 云端Hadoop的逻辑视图 359

11.3 网络 361

11.3.1 区域和可用区 361

11.3.2 VPC和子网 362

11.3.3 安全组和防火墙规则 363

11.3.4 AWS操作示例 364

11.4 管理资源 370

11.5 数据管线 374

11.5.1 Amazon数据管线 375

11.5.2 Airflow 375

11.5.3 Airflow组件 376

11.5.4 数据管线的DAG示例 376

11.6 高可用性（HA） 379

11.6.1 服务器故障 379

11.6.2 云存储高可用性 381

11.7 本章小结 382

第12章 Hadoop集群分析 383

12.1 基准测试和分析简介 383

12.2 HDFS 385

12.3 NameNode 386

12.3.1 NNBench 386

12.3.2 NNThroughputBenchmark 387

12.3.3 合成加载生成器 389

12.4 YARN 392

12.5 Hive 393

12.5.1 TPC-DS 393

12.5.2 TPC-H 394

12.6 混合工作负载 395

12.6.1 Rumen 395

12.6.2 Gridmix 396

12.7 本章小结 397

第4部分 Hadoop的安全机制

第13章 Hadoop中的角色及其执行内容 401

13.1 Hadoop安全问题的各种因素 401

13.2 系统安全 402

13.3 Kerberos验证机制 403

13.3.1 Kerberos的优点 404

13.3.2 Kerberos验证流 404

13.4 用户权限 406

13.4.1 Ranger 407

13.4.2 Sentry 408

13.5 Hadoop 3.0中的安全特征列表 409

13.6 本章小结 411

第14章 网络和数据安全 413

14.1 Hadoop网络安全 413

14.1.1 隔离不同类型的网络 413

14.1.2 网络防火墙 415

14.1.3 Hadoop服务的网络边界安全工具 415

14.2 加密技术 417

14.2.1 传输数据加密 417

14.2.2 静态数据加密 418

14.3 数据屏蔽机制 419

14.4 过滤机制 420

14.4.1 行级别过滤机制 420

14.4.2 列级别过滤机制 421

14.5 本章小结 421

第15章 监测Hadoop 423

15.1 通用监测机制 423

15.1.1 HDFS指标 423

15.1.2 YARN指标 425

15.1.3 ZooKeeper指标 426

15.1.4 Apache Ambari 426

15.2 安全监测机制 427

15.2.1 安全信息和事件管理 427

15.2.2 SIEM的工作方式 428

15.2.3 入侵检测系统 429

15.2.4 入侵预防系统 430

15.3 本章小结 430