包邮Spark原理.机制及应用

目 录前言**篇 概 念 篇第1章 spark概述21.1 spark初见21.1.1 spark的发展史及近况21.1.2 spark的特点51.1.3 spark的作用61.1.4 spark的体系结构61.1.5 spark的发展趋势61.2 spark框架71.2.1 批处理框架71.2.2 流处理框架81.3 spark的生态系统81.4 spark的数据存储111.5 本章小结11第2章 spark环境配置122.1 spark运行环境配置122.1.1 先决条件122.1.2 下载与运行 spark132.1.3 使用交互式 shell142.1.4 搭建sparkstandalone集群162.2 spark开发环境配置182.2.1 spark独立应用程序182.2.2 构建ide开发环境242.3 spark编译环境配置292.3.1 使用maven编译项目源码302.3.2 使用idea搭建源码编译与阅读环境312.4 本章小结35第二篇 开 发 篇第3章 spark核心开发373.1 spark编程模型概述373.2 sparkcontext383.2.1 sparkcontext的作用383.2.2 sparkcontext的创建383.2.3 使用shell413.2.4 应用实践413.3 rdd简介423.3.1 rdd创建423.3.2 rdd转换操作433.3.3 rdd动作操作443.3.4 rdd惰性计算443.3.5 rdd持久化443.3.6 rdd检查点453.4 共享变量453.4.1 广播变量453.4.2 累加器463.5 spark核心开发实践463.5.1 单值型trasnformation算子463.5.2 键值对型transformation算子583.5.3 action算子643.6 本章小结72第4章 spark四大应用技术框架734.1 spark sql734.1.1 spark sql入门734.1.2 数据源754.1.3 性能调优814.1.4 分布式sql引擎824.1.5 shark迁移至sparksql指南824.1.6 hive的兼容性834.1.7 spark sql数据类型854.2 spark streaming864.2.1 spark streaming简介874.2.2 入门实例874.2.3 基本概念894.3 spark graphx974.3.1 spark graphx简介974.3.2 属性图984.3.3 图操作1004.3.4 pregel api1084.3.5 图构造器1104.3.6 顶点与边相关rdd1114.3.7 *优化表示1134.3.8 图算法1144.3.9 example1164.4 spark mllib1164.4.1 spark mllib简介1164.4.2 数据类型1174.4.3 基本统计分析1214.4.4 分类与回归1234.4.5 协同过滤1364.4.6 聚类1384.4.7 降维1394.4.8 特征提取与转换1414.4.9 频繁模式挖掘1464.4.10 *优化算法1474.4.11 导出pmml模式1494.5 sparkr1504.5.1 sparkr dataframe1504.5.2 dataframe的相关操作1524.5.3 从sparkr运行sql查询153第5章 spark系统配置与调优1545.1 spark运行监控1545.2 spark配置参数1585.2.1 应用属性1595.2.2 运行环境属性1595.2.3 shuffle操作