包邮大数据工程项目开发实践活页试教程

第1章 数据 1 1.1 数据流与大数据 1 1.1.1 数据产生 2 1.1.2 数据采集 3 1.1.3 数据存储和管理 4 1.2 数据平台与技术 5 1.2.1 离线数据平台的相关技术 6 1.2.2 实时数据平台的相关技术 7 习题1 9 上机实验1 大数据架构和组件选型 9 第2章 搭建大数据集群环境 11 2.1 集群环境安装准备 11 2.1.1 学习任务：创建虚拟机 11 2.1.2 启动虚拟机并安装Linux操作系统 15 2.1.3 克隆虚拟机 18 2.1.4 Linux操作系统网络配置 20 2.1.5 SSH操作配置 25 2.2 安装JDK 29 2.3 ZooKeeper集群部署 31 2.3.1 ZooKeeper集群的安装与配置 31 2.3.2 ZooKeeper集群的启动与关闭 33 2.4 Hadoop集群部署 34 2.4.1 Hadoop高可用集群规划 35 2.4.2 安装Hadoop 36 2.4.3 Hadoop高可用集群配置 37 2.4.4 启用Hadoop高可用集群 42 习题2 45 上机实验2 VMware Workstation的安装和使用 46 第3章 Hadoop核心组件原理与实践 47 3.1 分布式文件系统HDFS的认识与操作 47 3.1.1 HDFS体系结构的认识 47 3.1.2 HDFS Shell操作 51 3.1.3 HDFS API操作 56 3.2 分布式计算框架MapReduce的认识与操作 70 3.2.1 MapReduce的认识 71 3.2.2 MapReduce编程模型 72 3.2.3 MapReduce WordCount编程实例 74 3.3 YARN与Hadoop新特性的认识 86 3.3.1 Hadoop2.0的认识 87 3.3.2 YARN体系结构的认识 88 3.3.3 YARN工作流程的认识 90 习题3 91 上机实验3 *高气温统计案例 93 第4章 数据仓库Hive应用实践 94 4.1 离线大数据处理技术Hive