大数据技术科普3——大数据分析与挖掘

第1章 大数据分析与挖掘概述 1.1 大数据分析的计算模式 1.批处理计算 2.查询分析计算 3.流计算 4.图计算 5.机器学习 1.2 认识大数据分析计算框架Spark 1.Spark简介 2.Spark的特点 3.Spark与Hadoop MapReduce的对比 第2章 Spark SQL 结构化数据分析与处理 2.1 Spark SQL简介 1.Hive 2.Shark 2.2 DataFrame概述 1.DataFrame简介 2.DataFrame与RDD的区别 2.3 DataFrame 的转换 1.宽依赖与窄依赖 2.DataFrame和Dataset以及RDD之间的相互转换 第3章 Spark Streaming 流数据分析与处理 3.1 流计算概述 1.静态数据与流数据 2.流计算的基本理念 3.流计算框架 3.2 Spark Streaming 1.工作原理 2.数据抽象DStream 3.性能调优 4.容错处理 5.Spark Streaming与Storm的关系 3.3 Spark Structured Streaming 1.Spark Structured Streaming简介 2.Spark Structured Streaming的特点 3.Spark Structured Streaming的数据模型 第4章 Spark GraphX 图数据分析与处理 4.1 图计算概述 1.图计算 2.图的表示 3.图的结构 4.图处理技术 5.图处理工具 6.图计算应用 4.2 Spark GraphX 1.Spark GraphX概述 2.Spark GraphX模块 3.Spark GraphX的发展历程 4.Spark GraphX的整体架构 第5章 Spark MLlib 机器学习 5.1 基于大数据的机器学习 1.机器学习 2.模型与算法的关系 3.基于大数据的机器学习 4.基于大数据的机器学习与传统机器学习的区别 5.Spark对于机器学习的优势 5.2 Spark MLlib 1.Spark MLlib的特点 2.Spark MLlib的适用范围 3.Spark MLlib库 4.Spark ML库 5.3 Spark中几种典型的机器学习算法 1.分类与预测 2.逻辑回归 3.协同过滤 4.聚类分析 第6章 大数据分析系统 6.1 大数据分析系统的背景与构架 1.大数据分析系统的背景 2.应用架构 6.2 业务实现与统计分析 1.流量、性能的实时分析 2.流量、性能的统计分析 3.业务关联分析 4.离线报表分析 6.3 系统资源分析平台 1.应用架构 2.代码实现 3.结果验证 6.4 在Spark上训练LR模型 1.数据格式 2.MLlib中LR模型源码介绍 参考文献