Hadoop大数据平台开发运维实训

第1章 .Hadoop大数台概述 1.1 Hadoop大数台起源 1.1.1 Hadoop发展历程 1.1.2 Hadoop核心组件 1.1.3 Hadoop与云计算的关系 1.2 Hadoop集群搭建和简单应用 1.2.1 集群服务器规划 1.2.2 Hadoop软件安装 1.2.3 Hadoop命令行的基本使用 本章小结第2章 Hadoop分布式文件系统 2.1 HDFS概述 2.1.1 HDFS的概念和特 2.1.2 HDFS的局限 2.1.3 HDFS保证可靠的措施 2.1.4 单点故障(单点失效)问题 2.2 HDFS Shell命令 2.2.1 常见Shell命令 2.2.2 其他HDFS Shell命令 2.3 对HDFS的深入理解 2.3.1 HDFS的优点和缺点 2.3.2 HDFS的辅能 2.4 HDFS读写过程 2.4.1 HDFS写入数据过程 2.4.2 HDFS读取数据过程 2.5 分布式集群中HDFS的各种角色 2.5.1 NameNode的可靠 2.5.2 DataNode的可靠 2.5.3 元数据的CheckPoint 本章小结第3章 MapReduce并行计算框架 3.1 MapReduce概述 3.1.1 为什么需要MapReduce 3.1.2 MapReduce程序运行演示 3.1.3 WordCount.java源码分析 3.i.4编写自己的WordCount程序 3.2 MapReduce的核心运行机制 3.3 MapReduce的多Job串联和全局计数器 3.3.1 MapReduce的多Job串联 3.3.2 全局计数器 3.3.3 计数器该如何使用 3.3.4 MapReduce框架Partitioner分区 3.3.5 MapReduce框架Combiner分区 3.4 YARN的资源调度 本章小结第4章 HBase分布式数据库 4.1 HBase数据库概述 4.1.1 HBase数据库的使用场景 4.1.2 HBase数据库的安装 4.2 HBase数据库物理架构 4.2.1 HBase集群节点类型 4.2.2 HBase数据存储 4.3 HBase数据库r/> 4.3.1 HBase命令行的启动 4.3.2 HBase表的r/> 4.3.3 HBase表中数据的r/> 4.4 HBase数据库的APIr/> 本章小结第5章 Hive数据仓库 5.1 Hive简介 5.1.1 什么是Hire 5.1.2 Hive的数据组织 5.1.3 Hive的表类型 5.2 Hive的安装与使用 5.2.1 Hive的安装配置 5.2.2 Hive的基本使用 5.2.3 Hive的连接方式 5.3 Hive数据结构 5.3.1 Hive数据类型 5.3.2 Hive数据存储格式 5.3.3 数据格式 5.4 Hive数据r/> 5.4.1 管理库 5.4.2 表r/> 5.5 Hive应用案例 5.5.1 统计单月访问次数访问次数 5.5.2 学生课程成绩统计 本章小结第6章 Kafka消息系统 6.1 Kafka消息系统能 6.1.1 Kafka概述 6.1.2 Kafka组件架构 6.1.3 Kafka软件安装 6.1.4 Kafka服务的启动 6.2 Kafka组件术语 6.2.1 主题与日志 6.2.2 Kafka H志处理 6.2.3 消息副本 6.2.4 数据处理场景 6.2.5 生产者 6.2.6 消费者 本章小结第7章 Flume日志处理系统 7.1 F、lume的简介 7.1.1 Flume概述 7.1.2 Flume NG的介绍 7.1.3 Flume的部署类型 7.2 F、lume的安装与配置 7.2.1 Flume的下载与安装 7.2.2 Flume Sources描述 7.3 Flume代理流配置 7.3.1 单配置 7.3.2 单代理多流配置 7.3.3 配置多代理流程 7.3.4 多路复用流 本章小结第8章 ZooKeeper分布式协调系统 8.1 分布式协调技术概述 8.2 ZooKeeper概述 8.3 ZooKeeper监听机制 8.3.1 Watch触发器 8.3.2 监听原理 8.3.3 ZooKeeper应用举例 8.4 ZooKeeper的安装与集群配置 8.4.1 ZooKeeper的安装 8.4.2 使用ZooKeeper命令的简单操作步骤 本章小结第9章 Sqoop数据迁移工具 9.1 Sq00能概述 9.1.1 Sqoop软件介绍 9.1.2 Sqoop软件安装 9.2 Sqoop命令r/> 9.2.1 Sqoop的基本命令 9.2.2 Sqoop的数据导入 9.2.3 将MysQL数据库中的表数据导入Hive 9.2.4 将MysQL数据库中的表数据导入HBar/> 本章小结参考文献