SPARK大数据技术与应用(微课版)

第 1章　Spark导论 1
1.1　认识Spark　1
1.1.1　Spark的演进路线　1
1.1.2　Spark的特点　2
1.1.3　Spark与Hadoop的联系　3
1.2　Spark的生态系统　4
1.2.1　Spark Core　5
1.2.2　Spark SQL　5
1.2.3　Spark Streaming　5
1.2.4　Spark MLlib　5
1.2.5　Spark GraphX　5
1.3　Spark运行模式　5
1.3.1　Standalone模式　6
1.3.2　Mesos模式　6
1.3.3　YARN模式　6
1.4　Spark架构　6
1.4.1　Spark架构组成　6
1.4.2　Spark架构运行流程　7
1.4.3　Spark架构特点　7
1.5　Spark应用场景　8
1.6　本章小结　8
1.7　习题　8
第 2章　Spark环境搭建与使用　10
2.1　搭建环境前的准备　10
2.1.1　Spark的下载　10
2.1.2　Scala的下载　11
2.1.3　Spark的前置配置　13
2.2　Spark集群的部署与操作　14
2.2.1　Spark集群的部署　14
2.2.2　Spark集群的启动与停止　17
2.3　第 一个Spark程序　19
2.4　Spark Shell的启动　21
2.5　本章小结　21
2.6　习题　21
第3章　Scala语言　23
3.1　Scala简介　23
3.1.1　什么是Scala　23
3.1.2　Scala的特性　24
3.1.3　Scala的优势　24
3.2　Scala的安装　25
3.2.1　Windows下安装Scala
编译器　25
3.2.2　Linux下安装Scala
编译器　26
3.3　Scala基础　26
3.3.1　Scala快速入门　26
3.3.2　在IntelliJ IDEA中创建Scala
项目　27
3.4　Scala的基本语法　28
3.4.1　声明变量　29
3.4.2　定义字符串　29
3.4.3　数据类型　31
3.4.4　运算符　32
3.4.5　块表达式　33
3.5　Scala的流程控制结构　33
3.5.1　顺序结构　33
3.5.2　分支结构　34
3.5.3　循环结构　36
3.5.4　breakable和break()方法　38
3.6　Scala的方法与函数　39
3.6.1　Scala中方法的定义和调用　39
3.6.2　Scala中函数的定义和调用　42
3.6.3　Scala中将方法转换成函数　43
3.7　Scala面向对象的特性　44
3.7.1　类和对象　44
3.7.2　private关键字　45
3.7.3　继承　45
3.7.4　单例对象　46
3.7.5　伴生对象　46
3.7.6　构造器　47
3.7.7　特质　48
3.7.8　抽象类　50
3.8　Scala的数据结构　50
3.8.1　数组　50
3.8.2　元组　52
3.8.3　集合　53
3.9　lazy关键字　56
实战训练：数组合并去重　57
3.10　本章小结　59
3.11　习题　59
第4章　Spark弹性分布式数据集　61
4.1　RDD简介　61
4.1.1　RDD的产生背景　61
4.1.2　RDD的特性　62
4.2　RDD的创建操作　64
4.2.1　从文件系统中加载数据创建
RDD　64
4.2.2　通过并行集合创建RDD　64
4.2.3　从父RDD转换成新的子
RDD　64
4.3　RDD算子　64
4.3.1　转换算子　65
4.3.2　动作算子　71
4.3.3　RDD常用算子练习　72
4.3.4　算子进阶　74
实战训练4-1：WordCount词频统计
案例　77
4.4　RDD的分区　78
4.5　RDD的依赖关系　79
4.5.1　划分依赖的背景　79
4.5.2　划分依赖的依据　80
4.5.3　窄依赖　80
4.5.4　宽依赖　80
4.5.5　Stage的划分　81
4.6　RDD机制　81
4.6.1　持久化机制　81
4.6.2　RDD缓存方式　81
4.6.3　容错机制Checkpoint　82
4.7　Spark作业流程　83
4.7.1　DAG的生成　83
4.7.2　任务调度流程　83
4.7.3　提交任务的4个阶段　84
4.8　共享变量　84
4.8.1　广播变量　85
4.8.2　累加器　85
实战训练4-2：通过相关信息计算用户
停留时间　85
实战训练4-3：统计学生信息　87
4.9　本章小结　92
4.10　习题　93
第5章　Spark SQL、DataFrame和
DataSet　95
5.1　Spark SQL简介　95
5.1.1　Spark SQL的概念　95
5.1.2　Spark SQL的特点　96
5.1.3　Spark SQL的运行架构　97
5.2　DataFrame基础知识　98
5.2.1　DataFrame概念　98
5.2.2　创建DataFrame对象　99
5.2.3　DataFrame常用操作　99
5.3　DataSet基础知识　100
5.3.1　DataSet编程　101
5.3.2　DataSet的DSL风格操作　101
5.4　将RDD转为DataFrame的
操作　102
5.4.1　通过反射推断Schema　102
5.4.2　DSL风格语法　103
5.4.3　通过StructType直接指定
Schema　104
5.5　RDD、DataFrame和DataSet的
区别　105
5.5.1　RDD的优缺点　105
5.5.2　DataFrame的优缺点　106
5.5.3　DataSet的优缺点　106
5.5.4　Spark SQL的性能与优化　106
5.6　通过Spark SQL操作数据源　106
5.6.1　操作MySQL数据源　106
5.6.2　操作Hive数据源　108
实战训练5-1：获取连续活跃用户的
记录　108
实战训练5-2：计算店铺销售额　110
5.7　本章小结　113
5.8　习题　113
第6章　Kafka分布式发布-订阅消息
系统　115
6.1　Kafka简介　115
6.1.1　什么是Kafka　115
6.1.2　消息系统简介　116
6.1.3　Kafka术语　117
6.2　Kafka与传统消息系统的区别　117
6.2.1　应用场景　117
6.2.2　架构模型　118
6.2.3　吞吐量　118
6.2.4　可用性　118
6.2.5　集群负载均衡　118
6.3　Kafka工作原理　118
6.3.1　Kafka的拓扑结构　118
6.3.2　分析Kafka工作流程　119
6.4　Kafka集群的部署与测试　121
6.4.1　集群部署的基础环境准备　121
6.4.2　安装Kafka　121
6.4.3　启动Kafka服务并进行
测试　123
6.5　Kafka的入门使用　124
6.5.1　Kafka命令行的入门使用　124
6.5.2　Kafka API案例　124
6.6　Kafka整合Flume　126
6.7　Kafka涉及的问题　127
6.7.1　存储机制　127
6.7.2　Kafka是如何保证数据
不丢失的　127
6.7.3　如何消费已经被消费过的
数据　128
6.7.4　Kafka Partition和Consumer的
数量关系　128
6.7.5　Kafka Topic 副本问题　129
6.7.6　ZooKeeper如何管理
Kafka　129
实战训练：使用Kafka生产车辆模拟
信息　129
6.8　本章小结　133
6.9　习题　133
第7章　Spark Streaming实时计算
框架　135
7.1　流式计算概述　135
7.1.1　流式计算简介　135
7.1.2　常用的流式计算框架　136
7.2　Spark Streaming概述　137
7.2.1　Spark Streaming简介　137
7.2.2　Spark Streaming工作原理　137
7.3　Spark的DStream　141
7.3.1　DStream概念　141
7.3.2　DStream的转换操作　142
7.4　Spark Streaming的数据源　144
7.4.1　基本数据源　144
7.4.2　高级数据源之Kafka　145
7.5　DStream的窗口操作　150
7.6　DStream的输出操作　151
7.7　Spark Streaming的Checkpoint
机制　153
7.7.1　Spark Streaming Checkpoint
概述　153
7.7.2　Checkpoint-MySQL校验　153
7.7.3　Checkpoint-Redis校验　154
实战训练：新闻热词排序　155
7.8　本章小结　157
7.9　习题　157
第8章　Spark MLlib机器学习
算法库　159
8.1　初识机器学习　159
8.1.1　什么是机器学习　159
8.1.2　机器学习的应用　160
8.1.3　分类和聚类　160
8.1.4　常见的分类与聚类算法　160
8.1.5　监督学习、无监督学习与
半监督学习　161
8.2　机器学习算法库MLlib概述　161
8.2.1　MLlib简介　161
8.2.2　Spark机器学习的工作
流程　161
8.2.3　Spark MLlib的架构　162
8.3　数据类型　162
8.3.1　本地向量　162
8.3.2　标签点　163
8.3.3　本地矩阵　164
8.4　Spark MLlib的基本统计方法　165
8.4.1　摘要统计　165
8.4.2　相关性　165
8.4.3　分层抽样　167
8.5　分类和回归　168
8.5.1　线性支持向量机　168
8.5.2　逻辑回归　169
8.5.3　线性*小二乘法　170
8.5.4　流的线性回归　171
8.6　随机森林　171
8.6.1　随机注入　172
8.6.2　随机森林的预测　172
8.6.3　3个案例　172
8.7　朴素贝叶斯　174
8.8　协同过滤　175
8.8.1　协同过滤推荐算法的原理　175
8.8.2　案例需求　175
8.8.3　算法实现　176
8.8.4　计算相似度的3种常用
方法　178
8.8.5　案例—如何使用协同
过滤　179
8.8.6　使用协同过滤算法时的常见
问题　179
实战训练：利用MLlib实现电影推荐
引擎　180
8.9　本章小结　183
8.10　习题　183
第9章　Redis数据库　185
9.1　Redis简介　185
9.1.1　常见的Redis应用场景　185
9.1.2　Redis的特性　186
9.1.3　持久化机制　187
9.2　Redis的安装和启动　187
9.2.1　Redis的安装　187
9.2.2　前端启动　189
9.2.3　后端启动　189
9.3　Redis的客户端　190
9.3.1　Redis自带的客户端　190
9.3.2　Redis桌面管理工具　190
9.3.3　Java客户端Jedis　191
9.4　Redis的数据类型　192
9.5　Redis的持久化和高可用性　194
9.5.1　RDB方式和AOF方式　194
9.5.2　Redis的高可用性　196
实战训练：Spark　SQL整合Redis分析
电商数据　197
9.6　本章小结　199
9.7　习题　199
第 10章　综合案例—Spark电商实时
数据处理　201
10.1　项目概述　201
10.1.1　介绍项目背景　201
10.1.2　设计项目架构　201
10.2　搭建项目环境　202
10.3　初始化项目结构　203
10.3.1　创建Maven工程　203
10.3.2　构建SparkSession和
StreamingContext实例
对象　207
10.3.3　构建属性配置文件　208
10.3.4　配置Spark Streaming停止
工具　210
10.4　开发订单数据模块　211
10.4.1　模拟订单数据　211
10.4.2　启动Kafka服务　213
10.5　订单数据处理模块　214
10.6　开发报表　216
10.7　本章小结　218