Spark权威指南

目录 前言1 第Ⅰ部分 大数据与Spark概述 第1章 Spark是什么？ 9 Apache Spark的设计哲学 10 背景： 大数据问题12 Spark的历史 12 Spark的现状和未来 14 运行Spark 14 第2章 Spark浅析 18 Spark的基本架构18 Spark API的多语言支持 20 Spark的API21 启动Spark 21 转换操作 24 动作操作 25 Spark用户接口26 一个完整的例子 27 小结35 第3章 Spark工具集介绍 36 运行生产应用程序37 Dataset： 类型安全的结构化API 38 结构化流处理39 机器学习和高级数据分析 43 低级API48 SparkR 49 Spark的生态系统和工具包50 小结50 第Ⅱ部分 结构化API——DataFrame、 SQL和Dataset 第4章 结构化API概述 53 DataFrame类型和Dataset类型 54 Schema 54 结构化Spark类型概述 54 结构化API执行概述 61 小结63 第5章 基本的结构化操作 64 模式65 列和表达式66 记录和行 69 DataFrame转换操作70 小结86 第6章 处理不同的数据类型 87 在哪里查找API87 转换成Spark类型89 处理布尔类型89 处理数值类型92 处理字符串类型 96 处理日期和时间戳类型 101 处理数据中的空值 106 处理JSON类型 113 用户自定义函数 115 小结 119 第7章 聚合操作 120 聚合函数 122 分组 128 window函数 130 分组集 133 用户自定义的聚合函数 138 小结 139 第8章 连接操作 140 连接表达式 140 连接类型 140 内连接 142 外连接 143 左外连接 143 右外连接 144 左半连接 144 左反连接 145 自然连接 146 交叉连接(笛卡尔连接) 146 连接操作常见问题与解决方案 147 小结 152 第9章 数据源 153 数据源 API 的结构 154 CSV 文件 156 JSON 文件 161 Parquet文件 163 ORC文件 164 SQL数据库 165 文本文件 173 高级I/O概念 174 小结 177 第10章 Spark SQL 178 什么是 SQL？ 178 大数据和SQL： Apache Hive 178 大数据和SQL： Spark SQL 179 如何运行Spark SQL 查询 180 Catalog 182 视图 187 数据库 188 选择语句 189 高级主题 190 其他功能 194 小结 195 第11章 Dataset 196 何时使用Dataset 197 创建Dataset 197 动作操作 199 转换操作 199 连接 201 分组和聚合 202 小结 203 第Ⅲ部分 低级API 第12章 弹性分布式数据集 207 什么是低级API？ 207 关于RDD 208 创建RDD 210 操作RDD 212 转换操作 213 动作操作 215 保存文件 218 缓存 219 检查点 220 通过pipe方法调用系统命令操作RDD 220 小结 222 第13章 高级RDD 223 Key-Value基础 (Key-Value RDD)224 聚合操作 226 CoGroups 230 连接操作 231 控制分区 232 自定义序列化 235 小结 236 第14章 分布式共享变量 237 广播变量 237 累加器 239 小结 243 第Ⅳ部分 生产与应用 第15章 Spark如何在集群上运行 247 Spark应用程序的体系结构 247 Spark应用程序的生命周期( Spark外部) 250 Spark应用程序的生命周期( Spark内部) 253 执行细节 258 小结 259 第16章 开发Spark应用程序 260 编写Spark应用程序 260 测试Spark应用程序 265 开发过程 268 启动应用程序 268 配置应用程序 271 小结 278 第17章 部署Spark 279 在哪里部署Spark集群 280 集群管理器 282 其他注意事项 288 小结 289 第18章 监控与调试 290 监控级别 290 要监视什么 291 Spark日志 292 Spark UI 293 调试和Spark抢救方案 301 小结 311 第19章 性能调优 312 间接性能优化 313 直接性能优化 320 小结 325 第Ⅴ部分 流处理 第20章 流处理基础 329 什么是流处理？ 330 流处理设计要点 334 Spark的流处理API 336 小结 338 第21章 结构化流处理基础 339 结构化流处理概述 339 核心概念 340 结构化流处理实例 343 结构化流上的转换操作 347 聚合 348 输入和输出 349 流式Dataset API 358 小结 359 第22章 事件时间和有状态处理 360 事件时间 360 有状态处理 362 任意有状态处理 362 事件时间基础知识 363 事件时间的窗口 363 在流中删除重复项 370 任意有状态处理 371 小结 380 第23章 生产中的结构化流处理 381 容错和检查点 381 更新应用程序 382 度量和监视 384 警报 386 使用流侦听器进行高级监视 387 小结 388 第Ⅵ部分 高级分析与机器学习 第24章 高级分析和机器学习概览 391 高级分析简介 392 Spark的高级分析工具包 399 高级MLlib概念 400 MLlib的执行 402 部署模式 412 小结 413 第25章 预处理和特征工程 414 根据应用场景格式化模型 414 转换器 416 预处理的估计器 417 高级转换器 418 处理连续型特征 422 使用类别特征 428 文本数据转换器 431 特征操作 440 特征选择 442 高级主题 443 编写自定义转换器 444 小结 445 第26章 分类 446 应用场景 446 分类的类型 446 MLlib中的分类模型 447 逻辑回归 449 决策树 452 随机森林和梯度提升树 454 朴素贝叶斯 456 分类评估器和自动化模型校正 457 One-vs-Rest分类 459 多层感知器 459 小结 459 第27章 回归 460 应用场景 460 MLlib中的回归模型 461 线性回归 462 广义线性回归 464 决策树 466 随机森林和梯度提升树 467 高级方法 468 评估器和自动化模型校正 469 度量标准 470 小结 471 第28章 推荐系统 472 应用场景 472 基于交替*小二乘法的协同过滤 473 推荐系统的评估器 476 度量指标 477 频繁模式挖掘 479 小结 479 第29章 无监督学习 480 应用场景 480 模型的可扩展性 481 k-means 482 二分k-means 484 高斯混合模型 485 LDA主题模型 487 小结 490 第30章 图分析 491 构建图 493 查询图 495 模式发现 496 图算法 498 小结 504 第31章 深度学习 505 什么是深度学习？ 505 在Spark中使用深度学习 506 深度学习库 508 Deep Learning Pipelines的一个简单示例 510 小结 514 第Ⅶ部分 生态系统 第32章 语言支持： Python(PySpark)和R(SparkR和 Sparklyr) 517 PySpark 518 Spark 中的R 519 小结 529 第33章 生态系统和社区 530 Spark软件包 530 社区 533 小结 534