SPARK 3.X综合项目实战

基 础 篇
第1 章 Spark 概述 2
1.1 认识Spark 2
1.2 了解Spark 生态系统 3
1.3 Spark 环境安装 4
1.3.1 安装JDK 5
1.3.2 Hadoop 集群搭建 6
1.3.3 Spark 安装及配置 9
1.4 Spark 初体验 12
1.5 掌握Spark 编程模型 14
本章小结 16
本章练习 16
第2 章 Spark 基础 17
2.1 Scala 初识 17
2.1.1 学习使用Scala 解释器 18
2.1.2 Scala 变量定义 18
2.1.3 Scala 数据类型 19
2.1.4 Scala 算术运算符 20
2.1.5 Scala 关系运算符 21
2.1.6 Scala 逻辑运算符 22
2.1.7 Scala 选择结构 22
2.1.8 Scala 循环结构 23
2.1.9 Scala 数组 25
2.1.10 Scala 函数 26
2.1.11 Scala 元组 30
2.1.12 Scala 集合 30
2.2 计算淡旺季飞机票的价格 36
2.3 按班级计算学生平均分 37
2.4 计算城市气温的均值 38
本章小结 38
本章练习 39
案 例 篇
第3 章 流行音乐数据分析 42
3.1 项目背景 42
3.2 分析任务 42
3.3 技术准备 43
3.3.1 实验环境 43
3.3.2 Spark RDD 43
3.3.3 Spark 编程入门 49
3.3.4 Spark 运行架构 53
3.3.5 Spark 运行模式 53
3.4 任务实现 58
3.4.1 数据源 58
3.4.2 架构设计 59
3.4.3 设计思路 60
3.4.4 数据分析 61
3.4.5 可视化展示 68
3.5 部署运行 74
本章小结 77
本章练习 77
第4 章 区域性房屋交易数据分析 79
4.1 项目背景 79
4.2 分析任务 79
4.3 技术准备 80
4.3.1 实验环境 80
4.3.2 Spark SQL 80
4.4 任务实现 88
4.4.1 数据源 88
4.4.2 架构设计 89
4.4.3 设计思路 91
4.4.4 统计分析 91
4.4.5 可视化展示 96
4.5 部署运行 105
本章小结 107
本章练习 107
第5 章 基于数据挖掘的气象分析 109
5.1 项目背景 109
5.2 分析任务 109
5.3 技术准备 109
5.3.1 实验环境 109
5.3.2 HBase 110
5.3.3 Spark MLlib 机器学习 118
5.4 任务实现 122
5.4.1 数据源导入HBase 122
5.4.2 架构设计 124
5.4.3 设计思路 125
5.4.4 数据分析 125
5.4.5 可视化展示 131
5.4.6 气温预测分析 135
5.5 部署运行 140
本章小结 141
本章练习 141
第6 章 基于广告流量数据的实时分析 143
6.1 项目背景 143
6.2 实现任务 143
6.3 技术准备 144
6.3.1 实验环境 144
6.3.2 Kafka 144
6.3.3 Spark Streaming 149
6.3.4 Spark Streaming 整合Kafka 操作 151
6.4 任务实现 152
6.4.1 数据源 152
6.4.2 架构设计 153
6.4.3 设计思路 154
6.4.4 数据实时发送 154
6.4.5 实时分析 158
6.4.6 可视化展示 165
6.5 部署运行 169
本章小结 170
本章练习 171
第7 章 基于多元分析的电影智能推荐系统 172
7.1 项目背景 172
7.2 实现任务 172
7.3 技术准备 172
7.3.1 实验环境 172
7.3.2 交替*小二乘推荐算法 173
7.4 过程实现 175
7.4.1 架构设计 175
7.4.2 设计思路 176
7.4.3 电影数据分析 176
7.4.4 电影智能推荐 181
7.5 部署与运行 187
本章小结 188
本章练习 188
参考文献 190