包邮大数据平台搭建与配置管理

单元1 Hadoop安装与配置1
任务1.1 安装Linux虚拟环境1
1 Linux系统介绍2
2开源协议介绍7
任务1.2 使用Linux基础操作命令16
1 Linux文件和目录管理16
2 Linux用户和用户组管理19
3 Linux Shell简介20
任务1.3 安装Java28
1 Java简介28
2 Java与Hadoop的关系34
任务1.4 安装Hadoop单节点和集群37
1 Hadoop简介37
2 Hadoop系统架构41
小结46
习题46
单元2 分布式文件系统HDFS47
任务2.1 理解HDFS的读写过程47
1 HDFS文件系统简介47
2 HDFS设计原则49
3 HDFS核心概念51
4 HDFS的HA方案53
任务2.2 使用Java操作HDFS58
1 HDFS简介59
2 HDFS读数据流程59
3 HDFS写数据流程61
小结69
习题69
单元3 分布式编程框架MapReduce70
任务3.1 讲解WordCount实例70
1 MapReduce概述70
2 MapReduce计算架构73
任务3.2 分析MapReduce实例应用83
1 MapReduce的Map过程83
2 MapReduce的Reduce过程85
小结91
习题92
单元4 分布式服务框架Zookeeper95
任务4.1 安装与配置Zookeeper93
1 Zookeeper概述94
2 Zookeeper工作流96
3 Zookeeper leader选举100
任务4.2 调用Zookeeper的Java客户端API103
1 Zookeeper分布式协调服务原理103
2 Zookeeper znode剖析105
3解读分布式锁110
小结118
习题118
单元5数据仓库Hive119
任务5.1 安装与配置Hive119
1 Hive基础知识120
2 Hive的工作123
3 Hive的数据类型124
4 Hive的数据模型125
5 Hive的架构解析126
6 HiveQL127
任务5.2 调用Hive的Java API133
1 Hive函数与自定义函数134
2 Hive常用模式设计137
小结146
习题146
单元6 分布式数据库HBase148
任务6.1 安装与配置HBase148
1 HBase概述149
2 HBase基本原则和架构152
3 HBase数据模型154
4 HBase HDFS目录分析155
任务6.2 使用HBase Shell159
1 HBase Shell常用命令159
2 HBase架构详情162
3 HBase文件存储与读写166
任务6.3 调用HBase的Java API175
1 HBase Schema设计规则175
2 HBase API基本访问命令179
小结185
习题186
单元7 流式数据处理框架Storm190
任务7.1 安装与配置Storm188
1 Storm概述与架构188
2 Storm、Flink、Spark流式数据处理框架比较192
3 Storm基本概念与组件195
4 Storm的扩展197
任务7.2 使用Java开发Storm203
1深入剖析Storm Nimbus和Supervisor 203
2 Storm Worker、Executor和Task深入分析205
3 Storm的应用开发和调试过程介绍206
小结217
习题217
参考文献218