Spark大数据处理技术(普通高等教育数据科学与大数据技术专业教材)

前言
第1章 Spark基础
1.1 初识Spark
1.1.1 Spark简介
1.1.2 Spark发展
1.2 Spark应用场景
1.3 Spark生态系统
1.4 Spark与Hadoop对比
1.5 Spark多语言编程
本章小结
练习一
第2章 Scala语言基础
2.1 Scala语言概述
2.1.1 Scala语言简介
2.1.2 Scala编译器安装
2.2 Scala命名规范
2.2.1 基本语法
2.2.2 Scala关键字
2.2.3 Scala注释
2.3 变量
2.3.1 val变量
2.3.2 var变量
2.4 数据类型和运算符
2.4.1 数据类型
2.4.2 运算符
2.5 Scala控制结构
2.5.1 if…else语句
2.5.2 循环语句
2.6 函数的定义和调用
2.6.1 内置函数和自定义函数
2.6.2 函数的参数
2.7 Scala的lazy值
2.8 异常Exception的处理
2.9 数组
2.9.1 定长数组和变长数组
2.9.2 遍历数组
2.9.3 数组转换
2.9.4 数组常用方法
2.10 元组
2.10.1 创建元组
2.10.2 元组的访问和遍历
2.10.3 拉链操作
2.11 集合
2.11.1 列表（List）
2.11.2 集合（Set）
2.11.3 映射（Map）
2.12 类
2.12.1 类的定义
2.12.2 get方法和set方法
2.12.3 构造器
2.12.4 内部类
2.13 单例对象和伴生对象
2.13.1 单例（object）对象
2.13.2 伴生对象
2.13.3 apply方法
2.14 Scala中的继承
2.14.1 父类具有无参构造器的继承
2.14.2 父类具有带参构造器的继承
2.15 抽象
2.16 Scala中的特质
2.16.1 将特质作为接口使用
2.16.2 在特质中定义具体的方法
2.16.3 混合使用特质的具体方法和抽象方法
2.17 Scala包和引用
2.17.1 创建包
2.17.2 引用
2.17.3 包重命名和隐藏方法
本章小结
练习二
第3章 Spark设计与运行原理
3.1 Spark架构设i计
3.1.1 Spark相关术诱
3.1.2 Spark架构
3.1.3 Spark运行流程
3.2 Spark核心功能
3.2.1 Spark Core组成
3.2.2 Spark编程模型
3.2.3 Spark计算模型
3.3 Spark运行模式
3.3.1 Local（本地）模式
3.3.2 Standalone（独立）模式
3.3.3 Mesos（Spark on Mesos）模式
3.3.4 Yarm（Spark on Yam）模式
本章小结
练习三
第4章 Spark环境搭建和使用
4.1 Spark开发环境阀述
4.2 操作系统及其网络环境准备
4.2.1 操作系统环境
4.2.2 远程登录
4.2.3 Limux系统软件源配置
4.2.4 安装和配置第二台和第三台虚拟机
4.3 Spark环境搭建
4.3.1 安装JDK
4.3.2 安装Hadoop
4.3.3 安装MySQL Server
4.3.4 安装Hive
4.3.5 安装ZooKeeper
4.3.6 安装Scala
4.3.7 安装Kafka
4.3.8 安装Spark
4.4 Spark集群环境测试
4.4.1 使用Spark-submit提交任务
4.4.2 使用Spark-shell交互式命令工具
本章小结
练习四
策5章 Spark RDD弹性分布式数据集
5.1 RDD简介
5.1.1 RDD的特征
5.1.2 词频统计（WordCount）案例实现过程
S.1.3 RDD的创建
5.2 常用操作
5.2.1 常用的转换
5.2.2 常用的动作
5.2.3 实例操作
5.3 RDD的分区
5.3.1 分区的概念
5.3.2 分区原则和方法
3.4 持久化
5.4.1 持久化存储级别
5.4.2 持久化存储级别的选择
5.5 容错机制
3.6 综合实例
本章小结
练习五
第6章 Spark SQL结构化数据处理引单
6.1 Spark SQL的基础知识
6.1.1 Spark SQL简介
6.1.2 Spark SQL数据抽象
6.1.3 程序主入口Spark:Session
6.2 DataFrame
6.2.1 DataFrame简介
6.2.2 创建DataFrame
6.2.3 DataFrame查看操作
6.2.4 DataFrame查询操作
6.2.5 DataFrame输出操作
6.3 DataSet
6.3.1 DataSet简介
6.3.2 创建DataSet
6.4 Spark SQL操作数据源
本章小结
练习六
第7章 Spark Streaming实时流处理引单
7.1 离线计算与实时计算
7.1.1 离线计算
7.1.2 实时计算
7.1.3 离线计算与实时计算比较
7.2 初探Spark Streaming
7.2.1 Spark Streaming简介
7.2.2 Spark Streaming工作原理
7.2.3 Spark Streaming入门程序
7.3 Spark Streaming程序开发
7.3.1 Spark Streaming环境准备
7.3.2 Spark Streaming项目搭建
7.3.3 Spark Streaming核心代码
7.3.4 Spark Streaming启动及测试
7.4 DStream输入
7.4.1 离散流（DStream）
7.4.2 DStream输入源
7.4.3 文件流数据源
7.4.4 RDD队列流
7.4.5 Spark Streaming整合Flume
7.4.6