Hadoop & Spark大数据开发实战

前言关于引用作品版权说明第1章 初识Hadoop 本章任务 任务1 大数据概述 ………………… 1.1.1 大数据基本概念 1.1.2 大数据对于企业带来的挑战…… 任务2 Hadoop概述……… …… 1.2.1 Hadoop简介 …… 1.2.2 HadooD生态系统 ……… 1.2.3 大数据应用案例 ……… 任务3 Hadoop环境措建… …… 1.3.1 虚拟机安装 … … … 1.3.2 Linux系统安装 …… 1.3.3 Hadoop伪分布式环境搭建 …… 本章总结 …… …………………… 本章作业 ………… 第2章 分布式文件系统HDFS 本章任务 …… …… ………… 任务1 初识HDFS ………………… 2.1.1 HDFS概述 ……… 2.1.2 HDFS基本概念……………… 2.1.3 HDFS体系结构… … …… 任务2 HDFS操作 ……………… 2.2.1 HDFS shell访问 ……… 2.2.2 Java API访问……… …… 任务3 HDFS运行机制…………… 2.3.1 HDFS文件读写流程 ……… 2.3.2 HDFS副本机制 ………… 2.3.3 数据负载均衡…… ……… 2.3.4 机架感知 … … 任务4 HDFS进阶……………… 2.4.1 Hadoop序列化 … 2.4.2 基于文件的数据结构SequenceFile 2.4.3 基于文件的数据结构MapFile 本章总结 … ………… 本章作业…………… …… ……… 第3章 分布式计算框架MapReduce… 本章任务……………… … ……… 任务1 MapReduce编程模型……… 3.1.1 MapReduce概述… 3.1.2 MapReduce编程模型 … 3.1.3 MapReduce Woracount编程实例 任务2 MapReduce进阶…………… 3.2.1 MapReduce类型…… 3.2.2 MapReduce输入格式…… 3.2.3 MapReduce输出格式 3.2.4 Combiner … 3.2.5 Partitioner … 3.2.6 RecordReader … … 任务3 MapReduce高级编程…… 3.3.1 Join的MapReduce实现… 3.3.2 排序的MapReduce实现…… 3.3.3 二次排序的MapReduce实现…… 3.3.4 合并小文件的MapReduce实现 本章总结…… …………… …… 本章作业……… …… …… 第4章 YARN与Hadoop新特性 本章任务……………… ……… 任务1 初识资源调度框架YARN… 4.1.1 YARN产生背景 4.1.2 初识YARN 4.1.3 YARN运行机制 任务2 HDFS新特性 4.2.1 HDFS NameNOde HA 4.2.2 HDFS NameN0de Federation 4.2.3 HDFSSnaoshots 4.2.4 WebHOFS RESTAPI 4.2.5 DistCp 任务3 YARN新特性 … 4.3.1 ResourceManager Restart 4.3.2 ResourceManager HA 本章总结 … … … 本章作业 … … …… 第5章 大数据数据仓库Hive 本章任务 … … 任务1 初识Hive … … 5.1.1 Hiye简介 5.1.2 Hiye架构 5.1.3 Hiye与Hadoop的关系 5.1.4 Hive与传统关系型数据库对比 5.1.5 Hive数据存储 5.1.6 Hive环境部署 任务2 Hive基本操作… … 5.2.1 DDL操作 5.2.2 DML操作 5.2.3 Hive shell操作 任务3 Hive进阶 … … 5.3.1 Hive函数 5.3.2 Hive常用调优策略 本章总结 … ……… 本章作业……… … 第6章 离线处理辅助系统 本章任务… … … 任务1 使用Sqoop完成数据迁移 6.1.1 Sqoop简介 6.1.2 导入MysQL数据到HDFS 6.1.3 导出HOFS数据到MySQL 6.1.4 导入MySQL数据到Hive 6.1.5 Sqoop中Job的使用 任务2 工作流调度框架Azkaban 6.2.1 Azkaban简介 6.2.2 Azkaban部署 6.2.3 Azkaban实战 本章总结 本章作业第7章 Spark入门 本章任务 …… …… 任务1 初识Spark ……… 7.1.1 Spark概述 7.1.2 Spark优点 7.1.3 Spark生态系统BDAs 任务2 Scala入门… 7.2.1 Scala介绍 7.2.2 Scala函数 7.2.3 Scala面向对象 7.2.4 Scala集合 7.2.5 Scala进阶 任务3 获取Spark源码并进行编译 7.3.1 获取Spark源码 7.3.2 Spark源码编译 任务4 第次与Spark亲密接触… 7.4.1 Spark环境部署 7.4.2 Spark完成词频统计分析 本章总结 …… … 本章作业 … … 第8章 SparkCore…………… 本章任务 …… ………… 任务1 SparK的基石RDD … 8.1.1 RDD概述 8.1.2 RDD常用创建方式… 8.1.3 RDD的转换 8.1.4 ROD的动作 8.1.5 RDD的依赖 任务2 RDD进阶 … 8.2.1 RDD缓存 8.2.2 共享变量(Shared Variables) 8.2.3 Spark核心概念 8.2.4 Spark运行架构 任务3 基于RDD的Spark编程 8.3.1 开发前置准备 8.3.2 使用SparkCore开发词频计数WordCount 8.3.3 使用SparkCore进行年龄统计 本章总结 本章作业第9章 Spark SQL 本章任务 任务1 SparkSQL前世今生 9.1.1 为什么需要SQL 9.1.2 常用的SQL on Hadoop框架 9.1.3 Spark SQL概述 任务2 Spark SQL编程 9.2.1 SparkSQL编程入口 9.2.2 DataFrame是什么 9.2.3 DataFrame编程 任务3 SparkSQL进阶 9.3.1 Spark SQL外部数据源操作 9.3.2 SparkSQL函数的使用 9.3.3 Spark SQL常用调优 本章总结 本章作业第10章 Spark Streaming 本章任务 任务1 初始流处理框架及Spark Streaming 10.1.1 流处理框架概述 10.1.2 Spark Streaming概述 任务2 Spark Streaming编程 10.2.1 Spark Streaming核心概念 10.2.2 使用Spark Streaming编程 任务3 Spark Streaming进阶 10.3.1 Spark Streaming整合Flume 10.3.2 Spark Streaming整合Kafka 10.3.3 Spark Streaming常用优化策略 本章总结 本章作业