包邮Hadoop3大数据部署与数据分析实战

项目1 搭建 Hadoop 开发环境 1 任务1.1 了解Hadoop 2 1.1.1 Hadoop 简介 2 1.1.2 Hadoop 的诞生与发展 3 任务1.2 搭建Hadoop 完全分布式环境 4 1.2.1 搭建前的准备 4 1.2.2 模板机的搭建 5 1.2.3 部署 Hadoop 完全分布式环境 29 项目总结 39 思考与练习 40 拓展训练 40 项目2 Hadoop入门及实战 41 任务2.1 了解HDFS 42 2.1.1 HDFS概述 42 2.1.2 HDFS架构及其原理 43 任务2.2 掌握HDFS命令和编程接口 46 2.2.1 HDFS Web Console简介和使用 46 2.2.2 HDFS Shell命令 49 2.2.3 HDFS Java API的使用 57 任务2.3 MapReduce开发实战 61 2.3.1 MapReduce简介 62 2.3.2 MapReduce工作机制 62 2.3.3 MapReduce编程模型 66 2.3.4 MapReduce应用实战 66 项目总结 75 思考与练习 75 拓展训练 76 项目3 Hive数据分析 77 任务3.1 了解Hive 78 3.1.1 Hive简介 78 3.1.2 Hive架构及原理分析 78 3.1.3 Hive数据类型 79 3.1.4 Hive表类型 80 任务3.2 Hive部署与实战 81 3.2.1 Hive部署 81 3.2.2 使用Hive进行数据分析 86 项目总结 89 思考与练习 89 拓展训练 90 项目4 HBase分布式存储数据库 91 任务4.1 了解列式存储和HBase 92 4.1.1 OLTP和OLAP简介 93 4.1.2 行式存储和列式存储简介 93 4.1.3 列式存储的特点 94 4.1.4 行式存储和列式存储优缺点对比 94 4.1.5 行式存储和列式存储的适用场景 95 4.1.6 HBase简介 95 任务4.2 部署HBase集群 96 任务4.3 了解HBase的物理模型Region 100 任务4.4 了解HMaster和RegionServer的工作原理 101 4.4.1 HBase的架构 101 4.4.2 HBase的架构组件 102 4.4.3 HMaster和RegionServer简介及工作原理 102 任务4.5 掌握HBase的操作 104 4.5.1 基本操作 104 4.5.2 表操作 105 4.5.3 命名空间的基本操作 106 任务4.6 了解HBase的读写流程和数据存储过程 107 4.6.1 数据存储过程 107 4.6.2 HBase的读流程 107 4.6.3 HBase的写流程 108 任务4.7 使用Java API操作HBase 109 4.7.1 环境准备 109 4.7.2 HBase的Java API 110 项目总结 115 思考与练习 115 拓展训练 115 项目5 ZooKeeper分布式协调服务 117 任务5.1 了解ZooKeeper的原理和特性 118 任务5.2 了解ZooKeeper的设计目标 119 任务5.3 实现ZooKeeper集群搭建 121 5.3.1 集群规划 121 5.3.2 安装流程 121 任务5.4 掌握ZooKeeper的核心概念 123 任务5.5 了解ZooKeeper的典型应用场景 125 项目总结 126 思考与练习 127 拓展训练 127 项目6 Flume数据采集 128 任务6.1 了解Flume 129 6.1.1 Flume简介 129 6.1.2 Flume的运行机制 129 6.1.3 Flume的结构图 130 6.1.4 Flume的安装部署 130 任务6.2 应用Flume进行实战 131 6.2.1 Flume实战案例一 132 6.2.2 Flume实战案例二 133 项目总结 134 思考与练习 135 拓展训练 135 项目7 Sqoop数据迁移 136 任务7.1 了解Sqoop 137 任务7.2 掌握Sqoop的操作 138 7.2.1 Sqoop安装 138 7.2.2 使用Sqoop进行数据转换 139 7.2.3 导入数据：从MariaDB到HDFS 140 7.2.4 导入数据：从MariaDB到Hive 140 7.2.5 导入数据：从MariaDB到HBase 141 7.2.6 导出数据：从HDFS到MariaDB 142 项目总结 142 思考与练习 143 拓展训练 143参考文献 144