实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时)

目录 前言 第1章 大数据技术概述1 1.1 什么是大数据1 1.2 大数据平台架构1 1.2.1 数据获取2 1.2.2 数据存储2 1.2.3 数据处理3 1.2.4 交互式分析3 1.2.5 机器学习与数据挖掘4 1.2.6 资源管理4 1.3 大数据工程师的技能树4 1.3.1 大数据主流开发语言5 1.3.2 大数据平台的构建5 1.3.3 大数据采集5 1.3.4 大数据存储与交换5 1.3.5 大数据离线计算5 1.3.6 大数据实时计算6 1.4 大数据项目需求分析与设计6 1.4.1 项目需求分析6 1.4.2 系统架构设计7 1.4.3 离线和实时计算数据流程设计8 1.4.4 大数据平台规划8 1.5 本章小结9 第2章 搭建IDEA开发环境及Linux 虚拟机10 2.1 搭建IDEA开发环境10 2.1.1 JDK 的安装与配置10 2.1.2 Maven 的安装与配置12 2.1.3 IDEA 的安装与配置13 2.1.4 使用IDEA构建Maven项目17 2.2 搭建Linux虚拟机19 2.2.1 安装Linux系统19 2.2.2 配置Linux静态IP19 2.2.3 Linux主机名和IP映射20 2.2.4 关闭Linux防火墙20 2.2.5 创建Linux用户和用户组20 2.2.6 Linux SSH免密登录21 2.3 本章小结22 第3章 基于Hadoop构建大数据 平台23 3.1 Zookeeper分布式协调服务23 3.1.1 Zookeeper架构设计及原理23 3.1.2 Zookeeper集群安装前的准备 工作26 3.1.3 Zookeeper集群的安装部署29 3.1.4 Zookeeper shell的操作32 3.2 HDFS分布式文件系统34 3.2.1 HDFS架构设计及原理34 3.2.2 HDFS的高可用(HA)42 3.2.3 HDFS联邦机制44 3.3 YARN资源管理系统44 3.3.1 YARN架构设计及原理45 3.3.2 MapReduce on YARN工作流程48 3.3.3 YARN的容错性49 3.3.4 YARN的高可用(HA)49 3.3.5 YARN的调度器及使用50 3.4 Hadoop分布式集群的构建53 3.4.1 HDFS分布式集群的构建53 3.4.2 YARN分布式集群的构建58 3.4.3 Hadoop集群运行测试61 3.4.4 Hadoop集群调优62 3.5 MapReduce分布式计算框架64 3.5.1 MapReduce概述64 3.5.2 MapReduce编程模型67 3.5.3 MapReduce应用示例68 3.5.4 WordCount代码实现70 3.6 本章小结72 第4章 基于HBase和Kafka构建 海量数据存储与交换系统73 4.1 构建HBase分布式实时 数据库73 4.1.1 HBase概述73 4.1.2 HBase架构设计76 4.1.3 HBase分布式集群的构建78 4.1.4 HBase性能调优82 4.1.5 HBase新闻业务表建模86 4.2 搭建Kafka分布式消息系统86 4.2.1 Kafka概述86 4.2.2 Kafka架构设计87 4.2.3 Kafka分布式集群的构建89 4.2.4 Kafka集群监控92 4.3 本章小结94 第5章 用户行为离线分析——构建 日志采集和分析平台95 5.1 搭建Flume日志采集系统95 5.1.1 Flume概述95 5.1.2 Flume架构设计96 5.1.3 Flume环境的搭建98 5.1.4 构建Flume集群100 5.2 使用Flume采集用户行为 数据102 5.2.1 Flume与Kafka集成102 5.2.2 Flume与HBase集成104 5.2.3 Flume与Kafka、HBase集成109 5.3 基于Hive的离线大数据分析112 5.3.1 Hive概述112 5.3.2 Hive架构设计112 5.3.3 Hive的安装部署117 5.3.4 Hive在大数据仓库中的应用120 5.3.5 Hive与HBase集成121 5.4 基于Hive 的用户行为数据 离线分析122 5.4.1 离线项目架构设计122 5.4.2 用户行为离线分析123 5.5 本章小结126 第6章 基于Spark的用户行为实时 分析127 6.1 Spark快速入门127 6.1.1 Spark概述127 6.1.2 Spark的*简安装128 6.1.3 Spark实现WordCount129 6.2 Spark Core的核心功能131 6.2.1 Spark架构的原理131 6.2.2 弹性分布式数据集RDD132 6.2.3 Spark 算子133 6.2.4 Pair RDD及算子135 6.3 Spark分布式集群的构建135 6.3.1 Spark的运行模式135 6.3.2 Standalone模式集群的构建136 6.3.3 Spark on YARN模式集群的 构建139 6.4 基于Spark Streaming的新闻 项目实时分析140 6.4.1 Spark Streaming概述140 6.4.2 Spark Streaming的运行原理141 6.4.3 Spark Streaming编程模型142 6.4.4 Spark Streaming实时分析用户 行为144 6.5 基于Spark SQL的新闻项目 离线分析157 6.5.1 Spark SQL架构的原理157 6.5.2 Spark SQL与Hive、MySQL、 HBase集成158 6.5.3 Spark SQL用户行为离线分析162 6.6 基于Spark Structured Streaming 的新闻项目实时分析167 6.6.1 Structured Streaming概述167 6.6.2 Structured Streaming编程模型168 6.6.3 基于Structured Streaming的用户 行为实时分析168 6.7 本章小结173 第7章 基于Flink的用户行为实时 分析174 7.1 Flink快速入门174 7.1.1 Flink概述174 7.1.2 Flink的*简安装176 7.1.3 Flink实现WordCount177 7.2 Flink分布式集群的构建181 7.2.1 Flink的运行模式181 7.2.2 Flink Standalone模式集群的 构建181 7.2.3 Flink on YARN模式集群的构建184 7.3 基于Flink DataStream的新闻 项目实时分析187 7.3.1 Flink DataStream概述187 7.3.2 Flink DataStream 编程模型188