包邮Hadoop大数据原理与应用实验教程

上篇 基础实验篇 实验1 部署全分布模式Hadoop集群 2 1.1 实验目的、实验环境和实验内容 3 1.2 实验原理 3 1.2.1 Linux基本命令 3 1.2.2 vim编辑器 6 1.2.3 Java基本命令 7 1.2.4 SSH安全通信协议 8 1.2.5 Hadoop 8 1.3 实验步骤 12 1.3.1 规划部署 12 1.3.2 准备机器 14 1.3.3 准备软件环境 14 1.3.4 获取和安装Hadoop 22 1.3.5 配置全分布模式Hadoop集群 22 1.3.6 关闭防火墙 30 1.3.7 格式化文件系统 31 1.3.8 启动和验证Hadoop 32 1.3.9 关闭Hadoop 41 1.3.10 实验报告要求 42 1.4 拓展训练——部署伪分布模式 ?Hadoop集群 42 1.4.1 规划部署 43 1.4.2 准备机器 43 1.4.3 准备软件环境 44 1.4.4 下载和安装Hadoop 47 1.4.5 配置Hadoop 47 1.4.6 格式化文件系统 49 1.4.7 启动和验证伪分布模式 Hadoop集群 49 1.4.8 关闭伪分布模式Hadoop集群 54 思考与练习题 55 参考文献 55 实验2 实战HDFS 57 2.1 实验目的、实验环境和实验内容 57 2.2 实验原理 58 2.2.1 初识HDFS 58 2.2.2 HDFS的体系架构 58 2.2.3 HDFS文件的存储原理 60 2.2.4 HDFS接口 64 2.3 实验步骤 70 2.3.1 启动Hadoop集群 70 2.3.2 使用 HDFS Shell 71 2.3.3 使用HDFS Web UI 72 2.3.4 搭建HDFS的开发环境Eclipse 73 2.3.5 使用HDFS Java API编程 75 2.3.6 关闭Hadoop集群 87 2.3.7 实验报告要求 87 2.4 拓展训练——?搭建HDFS NameNode HA 88 思考与练习题 92 参考文献 92 实验3 MapReduce编程 94 3.1 实验目的、实验环境和实验内容 94 3.2 实验原理 95 3.2.1 MapReduce的编程思想 95 3.2.2 MapReduce的作业执行流程 97 3.2.3 MapReduce Web 98 3.2.4 MapReduce Shell 98 3.2.5 MapReduce Java API 99 3.3 实验步骤 99 3.3.1 启动Hadoop集群 99 3.3.2 搭建MapReduce的 开发环境Eclipse 100 3.3.3 编写并运行MapReduce程序 WordCount 100 3.3.4 练习使用MapReduce Shell命令 111 3.3.5 练习使用MapReduce Web UI 界面 112 3.3.6 关闭Hadoop集群 113 3.3.7 实验报告要求 113 3.4 拓展训练 113 3.4.1 在Windows平台上开发 MapReduce程序 113 3.4.2 MapReduce编程实践：使用 MapReduce统计对象中的 某些属性 117 思考与练习题 122 参考文献 122 实验4 部署ZooKeeper集群和实战 ZooKeeper 123 4.1 实验目的、实验环境和实验内容 123 4.2 实验原理 124 4.2.1 ZooKeeper的系统模型 124 4.2.2 ZooKeeper的工作原理 128 4.2.3 部署ZooKeeper 131 4.2.4 ZooKeeper的四字命令 134 4.2.5 ZooKeeper Shell 135 4.2.6 ZooKeeper Java API 137 4.3 实验步骤 139 4.3.1 规划ZooKeeper集群 139 4.3.2 部署ZooKeeper集群 140 4.3.3 启动ZooKeeper集群 143 4.3.4 验证ZooKeeper集群 144 4.3.5 使用ZooKeeper的四字命令 144 4.3.6 使用ZooKeeper Shell的 常用命令 146 4.3.7 关闭ZooKeeper集群 151 4.3.8 实验报告要求 151 4.4 拓展训练 152 4.4.1 搭建ZooKeeper的 开发环境Eclipse 152 4.4.2 ZooKeeper编程实践—— ZooKeeper文件系统的增删改查 152 4.4.3 ZooKeeper编程实践—— 循环监听 160 思考与练习题 162 参考文献 163 实验5 部署全分布模式HBase集群和 实战HBase 164 5.1 实验目的、实验环境和实验内容 164 5.2 实验原理 165 5.2.1 初识HBase 165 5.2.2 HBase的数据模型 165 5.2.3 HBase的体系架构 169 5.2.4 部署HBase 172 5.2.5 HBase接口 174 5.3 实验步骤 178 5.3.1 规划全分布模式HBase集群 178 5.3.2 部署全分布模式HBase集群 179 5.3.3 启动全分布模式HBase集群 183 5.3.4 验证全分布模式HBase集群 184 5.3.5 使用HBase Shell和HBase Web UI 186 5.3.6 关闭全分布模式HBase集群 189 5.3.7 实验报告要求 189 5.4 拓展训练 190 5.4.1 搭建HBase的开发环境Eclipse 190 5.4.2 HBase编程实践：HBase表的 增删改 190 思考与练习题 192 参考文献 192 实验6 部署本地模式Hive和实战Hive 194 6.1 实验目的、实验环境和实验内容 194 6.2 实验原理 195 6.2.1 初识Hive 195 6.2.2 Hive的体系架构 196 6.2.3 Hive的数据类型 198 6.2.4 Hive的文件格式 199 6.2.5 Hive的数据模型 200 6.2.6 Hive函数 201 6.2.7 部署Hive 205 6.2.8 Hive接口 208 6.3 实验步骤 211 6.3.1 规划Hive 211 6.3.2 部署本地模式Hive 213 6.3.3 验证Hive 223 6.3.4 使用Hive Shell 224 6.3.5 实验报告要求 227 6.4 拓展训练 228 6.4.1 搭建Hive的开发环境Eclipse 228 6.4.2 Hive编程实践：操纵Hive 数据库和表 228 思考与练习题 235 参考文献 236 下篇 拓展实验篇 实验7 部署Spark集群和Spark编程 238 7.1 实验目的、实验环境和实验内容 238 7.2 实验原理 239 7.2.1 初识Spark 239 7.2.2 Spark的体系架构 241 7.2.3 Spark的计算模型 246 7.2.4 RDD的设计与运行原理 247 7.2.5 Spark集群部署 250 7.2.6 Spark接口 252 7.3 实验步骤 255 7.3.1 规划SparkStandalone集群 255 7.3.2 手工部署SparkStandalone集群 257 7.3.3 启动SparkStandalone集群 261 7.3.4 验证SparkStandalone集群 261 7.3.5 使用Spark Web UI、Spark Shell和 Spark API 261 7.3.6 关闭SparkStandalone集群 267 思考与练习题 268 参考文献 268 实验8 实战Sqoop 269 8.1 实验目的、实验环境和实验内容 269 8.2 实验原理 270 8.2.1 初识Sqoop 270 8.2.2 Sqoop的体系架构 271 8.2.3 安装Sqoop 272 8.2.4 Sqoop Shell 273 8.2.5 Sqoop API 277 8.3 实验步骤 277 8.3.1 规划安装 277 8.3.2 安装和配置Sqoop 279 8.3.3 验证Sqoop 281 8.3.4 使用Sqoop Shell 281 思考与练习题 301 参考文献 301 实验9 实战Flume 302 9.1 实验目的、实验环境和实验内容 302 9.2 实验原理 303 9.2.1 初识Flume 303 9.2.2 Flume的体系架构 304 9.2.3 安装Flume 306 9.2.4 Flume Shell 307 9.2.5 Flume API 309 9.3 实验步骤 309 9.3.1 规划安装 309 9.3.2 安装和配置Flume 310 9.3.3 验证Flume 311 9.3.4 使用Flume 311 思考与练习题 318 参考文献 318 实验10 实战Kafka 319 10.1 实验目的、实验环境和实验内容 319 10.2 实验原理 320 10.2.1 初识Kafka 320 10.2.2 Kafka的体系架构 321 10.2.3 安装Kafka 323 10.2.4 Kafka Shell 325 10.2.5 Kafka API 326 10.3 实验步骤 326 10.3.1 规划Kafka集群 326 10.3.2 部署Kafka集群 327 10.3.3 启动Kafka集群 329 10.3.4 验证Kafka集群 330 10.3.5 使用Kafka Shell 330 10.3.6 关闭Kafka集群 334 思考与练习题 334 参考文献 334