大数据技术实战案例教程

第1章 部署全分布模式Hadoop集群 1 1.1 初识Hadoop 1 1.2 Hadoop生态系统 2 1.3 Hadoop体系架构 4 1.4 Hadoop部署要点 5 1.4.1 Hadoop运行环境 5 1.4.2 Hadoop运行模式 6 1.4.3 Hadoop配置文件 6 1.5 综合实战：部署全分布模式Hadoop集群 8 1.5.1 规划部署 8 1.5.2 准备机器 9 1.5.3 准备软件环境 9 1.5.4 获取和安装Hadoop 15 1.5.5 配置全分布模式Hadoop集群 16 1.5.6 关闭防火墙 22 1.5.7 格式化文件系统 23 1.5.8 启动和验证Hadoop 23 1.5.9 关闭Hadoop 34 本章小结 35 第2章 HDFS实战 36 2.1 初识HDFS 36 2.2 HDFS体系架构 37 2.3 HDFS文件存储原理 39 2.3.1 数据块Block 39 2.3.2 副本存放策略 40 2.3.3 数据读取 41 2.3.4 数据写入 42 2.4 HDFS接口 44 2.4.1 HDFS Web UI 44 2.4.2 HDFS Shell 46 2.4.3 HDFS Java API 49 2.5 HDFS高可靠性机制 50 2.5.1 HDFS NameNode HA高可用机制 50 2.5.2 HDFS NameNode Federation联邦机制 53 2.6 综合实战：HDFS实战 55 2.6.1 启动HDFS集群 55 2.6.2 使用HDFS Shell命令 55 2.6.3 使用HDFS Web UI界面 57 2.6.4 搭建HDFS开发环境Eclipse 59 2.6.5 使用HDFS Java API编程 60 2.6.6 关闭HDFS集群 74 本章小结 74 第3章 MapReduce编程 75 3.1 初识MapReduce 75 3.2 MapReduce作业执行流程 77 3.3 MapReduce入门案例WordCount剖析 78 3.3.1 TokenizerMapper类 78 3.3.2 IntSumReducer类 80 3.3.3 main()函数 81 3.3.4 向Hadoop集群提交并运行WordCount 82 3.4 MapReduce数据类型 83 3.5 MapReduce接口 86 3.5.1 MapReduce Web UI 86 3.5.2 MapReduce Shell 86 3.5.3 MapReduce Java API 87 3.6 综合实战：MapReduce编程 88 3.6.1 启动Hadoop集群 88 3.6.2 编写并运行MapReduce程序 89 3.6.3 练习使用MapReduce Shell命令 95 3.6.4 练习使用MapReduce Web UI界面 96 3.6.5 关闭Hadoop集群 96 本章小结 97 第4章 部署ZooKeeper集群和ZooKeeper实战 98 4.1 初识ZooKeeper 98 4.2 ZooKeeper工作原理 98 4.3 ZooKeeper数据模型 99 4.4 ZooKeeper部署要点 101 4.4.1 ZooKeeper运行环境 101 4.4.2 ZooKeeper运行模式 101 4.4.3 ZooKeeper配置文件 101 4.5 ZooKeeper接口 103 4.5.1 ZooKeeper四字命令 103 4.5.2 ZooKeeper Shell 105 4.5.3 ZooKeeper Java API 107 4.6 综合实战：部署ZooKeeper集群和ZooKeeper实战 107 4.6.1 规划ZooKeeper集群 107 4.6.2 部署ZooKeeper集群 109 4.6.3 启动ZooKeeper集群 111 4.6.4 验证ZooKeeper集群 111 4.6.5 使用ZooKeeper Shell客户端命令 112 4.6.6 关闭ZooKeeper集群 114 本章小结 115 第5章 部署本地模式Hive和Hive实战 117 5.1 初识Hive 117 5.2 Hive体系架构 118 5.3 Hive数据类型 120 5.4 Hive数据模型 121 5.5 Hive函数 123 5.6 Hive部署要点 126 5.6.1 Hive运行环境 126 5.6.2 Hive部署模式 126 5.6.3 Hive配置文件 128 5.7 Hive接口 129 5.7.1 Hive Shell 129 5.7.2 Hive Web Interface(HWI) 132 5.7.3 Hive API 133 5.8 综合实战：部署本地模式Hive和Hive实战 133 5.8.1 规划Hive 133 5.8.2 部署本地模式Hive 134 5.8.3 验证Hive 144 5.8.4 使用Hive Shell 146 本章小结 151 第6章 Flume实战 153 6.1 初识Flume 153 6.2 Flume体系架构 154 6.3 Flume部署要点 156 6.4 Flume Shell常用命令 157 6.5 综合实战：部署单机模式Flume和Flume实战 159 6.5.1 规划Flume 159 6.5.2 安装和配置Flume 160 6.5.3 验证Flume 161 6.5.4 使用Flume 161 本章小结 165 第7章 Kafka实战 167 7.1 初识Kafka 167 7.2 Kafka体系架构 167 7.3 Kafka部署要点 170 7.4 Kafka Shell常用命令 171 7.5 综合实战：部署Kafka集群和Kafka实战 172 7.5.1 规划Kafka集群 172 7.5.2 部署Kafka集群 174 7.5.3 启动Kafka集群 175 7.5.4 验证Kafka集群 175 7.5.5 使用Kafka Shell 176 7.5.6 关闭Kafka集群 178 本章小结 179 第8章 Spark集群部署和基本编程 180 8.1 初识Spark 180 8.1.1 Spark简介 180 8.1.2 Spark对比Hadoop MapReduce 181 8.2 Spark生态系统 182 8.3 Spark运行架构 184 8.4 RDD的设计与操作 185 8.4.1 RDD简介 185 8.4.2 RDD数据存储模型 186 8.4.3 RDD创建 186 8.4.4 RDD操作 187 8.5 Spark部署要点 189 8.5.1 Spark运行环境 189 8.5.2 Spark运行模式 189 8.5.3 Spark配置文件 191 8.6 Spark接口 192 8.6.1 Spark Web UI 192 8.6.2 Spark Shell 193 8.6.3 Spark API 199 8.6.4 其他接口 199 8.7 综合实战：Spark集群部署和基本编程 199 8.7.1 规划Spark集群 199 8.7.2 部署Spark集群 201 8.7.3 启动Spark集群 204 8.7.4 验证Spark集群 205 8.7.5 编写并运行Spark应用程序 211 8.7.6 关闭Spark集群 216 本章小结 216 第9章 Flink集群部署和基本编程 218 9.1 初识Flink 218 9.2 Flink技术栈 220 9.3 Flink运行架构 221 9.4 Flink编程模型 222 9.4.1 DataStream API 223 9.4.2 DataSet API 225 9.5 Flink应用程序编写步骤 226 9.5.1 Flink批处理应用程序编写步骤 226 9.5.2 Flink流处理应用程序编写步骤 227 9.6 部署Flink要点 228 9.6.1 Flink运行环境 228 9.6.2 Flink运行模式 228 9.6.3 Flink配置文件 229 9.7 Flink接口 230 9.7.1 Flink Web UI 230 9.7.2 Flink Shell 238 9.7.3 Flink API 240 9.8 综合实战：Flink Standalone集群部署和基本编程 240 9.8.1 规划Flink Standalone集群 240 9.8.2 部署Flink Standalone集群 242 9.8.3 启动Flink Standalone集群 244 9.8.4 验证Flink Standalone集群 244 9.8.5 开发Flink独立应用程序 248 9.8.6 关闭Flink Standalone集群 258 本章小结 258 参考文献 260