PYSPARK大数据分析实战

前言
第1章 初识PySpark/
1.1 关于数据/
1.2 了解Hadoop/
1.2.1 分布式文件系统HDFS/
1.2.2 分布式计算框架MapReduce/
1.2.3 资源调度管理框架YARN/
1.3 了解Hive/
1.4 了解Spark/
1.4.1 Spark是什么/
1.4.2 Spark的发展历程/
1.4.3 Spark的特点/
1.4.4 Spark的生态系统/
1.4.5 Spark的部署模式/
1.4.6 Spark的运行架构/
1.5 PySpark库介绍/
1.6 本章小结/
第2章 Spark环境搭建/
2.1 安装环境准备/
2.1.1 操作系统准备/
2.1.2 Java环境准备/
2.1.3 Python环境准备/
2.1.4 Spark安装包下载/
2.1.5 Hadoop安装包下载/
2.2 Spark本地模式安装/
2.2.1 使用交互式pyspark运行代码/
2.2.2 宽窄依赖和阶段划分/
2.2.3 使用spark-submit提交代码/
2.3 Spark独立集群安装/
2.3.1 配置并启动Spark集群/
2.3.2 使用spark-submit提交代码/
2.3.3 Spark History Server历史服务/
2.3.4 独立集群模式的代码运行流程/
2.4 Spark on YARN模式安装/
2.4.1 安装Hadoop集群/
2.4.2 格式化NameNode/
2.4.3 启动Hadoop集群/
2.4.4 配置Spark运行在YARN上/
2.4.5 使用spark-submit提交代码/
2.4.6 Spark on YARN模式代码运行流程/
2.5 云服务模式Databricks介绍/
2.5.1 Databricks基本概念/
2.5.2 创建集群/
2.5.3 数据集成/
2.5.4 创建笔记本/
2.5.5 运行案例/
2.5.6 创建作业/
2.5.7 运行作业/
2.5.8 其他类型的作业/
2.6 本章小结/
第3章 数据分析基础/
3.1 什么是数据分析/
3.2 Python数据分析工具介绍/
3.2.1 数学计算库NumPy介绍/
3.2.2 数据分析库Pandas介绍/
3.3 数据分析图表介绍/
3.4 Python数据可视化工具介绍/
3.4.1 Matplotlib介绍/
3.4.2 Seaborn介绍/
3.4.3 Pyecharts介绍/
3.4.4 三种可视化工具的对比/
3.5 本章小结/
第4章 选择合适的开发工具/
4.1 使用Databricks探索数据/
4.1.1 使用笔记本开发代码/
4.1.2【实战案例】阿凡达电影评价分析/
4.2 使用JupyterLab探索数据/
4.2.1 创建虚拟环境/
4.2.2 安装JupyterLab/
4.2.3 集成Spark引擎/
4.2.4【实战案例】二手房数据分析/
4.3 使用PyCharm探索数据/
4.3.1 安装PyCharm/
4.3.2 安装Python/
4.3.3 创建PyCharm项目/
4.3.4 PyCharm插件介绍/
4.3.5【实战案例】招聘信息数据分析/
4.4 本章小结/
第5章 核心功能Spark Core/
5.1 SparkContext介绍/
5.2 RDD介绍/
5.3 RDD的特性/
5.4 RDD的创建/
5.4.1 通过并行化本地集合创建RDD/
5.4.2 通过外部文件系统数据创建RDD/
5.4.3 通过已存在的RDD衍生新的RDD/
5.5 RDD的算子/
5.5.1 什么是算子/
5.5.2 算子的分类/
5.6 常用的Transformation算子/
5.6.1 基本算子/
5.6.2 二元组相关的算子/
5.6.3 分区相关的算子/
5.7 常用的Action算子/
5.7.1 基本算子/
5.7.2 Executor端执行的算子/
5.8 RDD的持久化/
5.8.1 缓存/
5.8.2 缓存的特点/
5.8.3 检查点/
5.8.4 缓存和检查点的比较/
5.9 共享变量/
5.9.1 广播变量/
5.9.2 累加器/
5.10【实战案例】共享单车租赁数据分析/
5.10.1 数据集成/
5.10.2 不同月份的租赁数据分析/
5.10.3 不同时间的租赁数据分析/
5.10.4 不同周期的租赁数据分析/
5.10.5 不同维度的租赁数据分析/
5.10.6 天气对租赁需求的影响/
5.10.7 温度、风速对租赁需求的影响/
5.11 本章小结/
第6章 结构化数据处理Spark SQL/
6.1 Spark SQL概述/
6.1.1 什么是Spark SQL/
6.1.2 Spark SQL的特点/
6.2 Spark SQL的发展历程/
6.2.1 从HDFS到Hive/
6.2.2 从Hive到Shark/
6.2.3 从Shark到Spark SQL/
6.3 SparkSession介绍/
6.4 DataFrame概述/
6.4.1 什么是DataFrame/
6.4.2 DataFrame的组成/
6.5 DataFrame的创建/
6.5.1 通过RDD创建/
6.5.2 通过Pandas的DataFrame创建/
6.5.3 通过外部数据创建/
6.6 DataFrame的基本操作/
6.6.1 DSL语法风格/
6.6.2 Spark Join策略介绍/
6.6.3 SQL语法风格/
6.7 DataFrame的函数操作/
6.7.1 内置函数/
6.7.2 窗口函数/
6.7.3 自定义函数/
6.8 DataFrame的数据清洗/
6.8.1 删除重复行/
6.8.2 缺失值的处理/
6.9 DataFrame的持久化/
6.10 DataFrame的数据写出/
6.10.1 写出数据到文件/
6.10.2 写出数据到数据库/
6.11【实战案例】世界杯数据可视化分析/
6.11.1 世界杯成绩汇总信息分析/
6.11.2 世界杯比赛信息分析/
6.12 本章小结/
第7章 集成Hive数据仓库/
7.1 Spark on Hive操作数据仓库/
7.1.1 安装Hive/
7.1.2 启动元数据服务/
7.1.3 配置Spark on Hive/
7.1.4 验证Spark on Hive/
7.2 使用MySQL替换Hive元数据服务/
7.2.1 初始化MySQL/
7.2.2 配置Spark on MySQL/
7.2.3 验证Spark on MySQL/
7.3【实战案例】基于Hive数据仓库的电商数据分析/
7.3.1 数据集成/
7.3.2 爆款产品分析/
7.3.3 月交易情况分析/
7.3.4 忠诚客户分析/
7.3.5 客户区域分析/
7.4 本章小结/
第8章 Spark Streaming流式数据处理/
8.1 流式数据处理概述/
8.1.1 静态数据和流式数据/
8.1.2 批量计算和实时计算/
8.1.3 流式计算/
8.2 Spark Streaming概述/
8.3 StreamingContext介绍/
8.4 DStream介绍/
8.5 DStream的创建/
8.5.1 通过文件创建/
8.5.2 通过套接字创建/
8.5.3 通过RDD队列创建/
8.6 DStream的Transformation操作/
8.6.1 无状态转换/
8.6.2 有状态转换/
8.7 DStream的输出操作/
8.8 DStream的SQL操作/
8.9 DStream的持久化/
8.10【实战案例】地震数据处理分析/
8.10.1 数据集成/
8.10.2 震级大小分布分析/
8.10.3 震源深度分布分析/
8.10.4 震中坐标分布分析/
8.10.5 中等地震分布分析/
8.11 本章小结/
第9章 Structured Streaming结构化流处理/
9.1 编程模型/
9.1.1 基本概念/
9.1.2 事件时间和延迟数据/
9.1.3 容错语义/
9.2 流式DataFrame的创建/
9.2.1 通过文件源创建/
9.2.2 通过Socket源创建/
9.2.3 通过Rate源创建/
9.2.4 通过Kafka源创建/
9.3 流式DataFrame的操作/
9.3.1 事件时间窗口/
9.3.2 处理延迟数据和水印/
9.3.3 连接操作/
9.3.4 消除重复数据/
9.3.5 不支持的操作/
9.4 启动流式处理查询/
9.4.1 输出模式/
9.4.2 输出接收器/
9.4.3 触发器/
9.5 管理流式查询/
9.6 监控流式查询/
9.7【实战案例】气象数据处理分析/
9.7.1 数据集成/
9.7.2 云量分布分析/
9.7.3 气温分布分析/
9.7.4 降水量分布分析/
9.8 本章小结/
第10章 Spark机器学习库MLlib/
10.1 机器学习介绍/
10.1.1 基本概念/
10.1.2 评估指标/
10.1.3 主要过程/
10.1.4 基于大数据的机器学习/
10.2 MLlib介绍/
10.3 数据预处理/
10.3.1 缺失值处理/
10.3.2 无量纲化处理/
10.3.3 特征数据处理/
10.4 特征提取和转换/
10.5 回归算法介绍/
10.5.1 线性回归算法介绍/
10.5.2 回归树算法介绍/
10.6 分类算法介绍/
10.6.1 逻辑回归算法介绍/
10.6.2 支持向量机算法介绍/
10.7聚类算法介绍/
10.7.1K-means算法介绍/
10.7.2高斯混合模型介绍/
10.8【实战案例】信用卡欺诈数据分析/
10.8.1 数据预览/
10.8.2 机器学习训练/
10.9 本章小结/
第11章 综合实战：基于协同过滤的图书推荐系统/
11.1 项目介绍/
11.2 协同过滤算法/
11.2.1 协同过滤算法介绍/
11.2.2 相似度度量/
11.2.3 交替*小二乘法/
11.3 项目实现/
11.3.1 数据集成/
11.3.2 数据分析/
11.3.3 结果导出/
11.4 数据可视化/
11.4.1 Flask框架介绍/
11.4.2 推荐结果展示/
11.5 项目部署/
11.6 本章小结/
参考文献/