大数据分析技术与实践教程

目录**篇 大数据基础第1章 大数据技术概述 11.1 理解大数据 11.1.1 大数据概念的提出 11.1.2 大数据概念的内涵 21.1.3 大数据的特征 21.1.4 大数据的数据类型 31.2 大数据处理流程 41.2.1 数据的采集与预处理 51.2.2 数据的存储与管理 71.2.3 数据的处理与分析 71.3 大数据关键技术 81.3.1 大数据的存储和管理 81.3.2 大数据的计算模式 91.3.3 大数据的分析方法 9第2章 大数据存储与管理 102.1 分布式文件系统 102.1.1 分布式文件系统概述 102.1.2 几种比较流行的分布式文件系统 112.2 HDFS与Alluxio 122.2.1 HDFS 122.2.2 Alluxio 142.3 分布式数据库 172.3.1 分布式数据库系统概述 172.3.2 分布式数据库系统的特点 172.3.3 分布式数据库系统的结构 182.3.4 典型的分布式数据库系统 192.4 NoSQL 192.4.1 NoSQL概述 192.4.2 NoSQL的设计原则 202.4.3 NoSQL系统的技术特点 222.4.4 NoSQL与NewSQL的比较 232.5 HBase与Hive 252.5.1 HBase 252.5.2 Hive 292.5.3 Hive与HBase的比较 31第3章 大数据计算模式 333.1 MapReduce计算 333.1.1 MapReduce概述 333.1.2 MapReduce模型 343.1.3 Hadoop中的MapReduce 343.2 流计算 363.2.1 流计算概述 363.2.2 流式大数据特征 373.2.3 流式计算系统关键技术 373.2.4 流式计算系统实例 393.3 图计算 433.3.1 图计算概述 433.3.2 分布式图计算 433.3.3 Pregel框架 453.3.4 Spark GraphX 46第4章 大数据处理平台 484.1 Hadoop 484.1.1 简介 484.1.2 架构 484.1.3 工作过程 504.2 Spark 514.2.1 简介 514.2.2 架构 524.2.3 工作过程 524.3 各种产品化平台 534.3.1 国外的大数据处理平台 544.3.2 国内的大数据处理平台 56第二篇 大数据分析第5章 大数据分析概述 605.1 浅谈大数据分析 605.1.1 塔吉特的精准营销 605.1.2 Google流感预测 605.1.3 Netflix与纸牌屋 615.2 大数据分析基本流程 61第6章 特征工程 636.1 特征工程概述 636.2 特征提取 636.2.1 特征及特征提取的概念 636.2.2 特征提取方法 646.3 特征预处理 676.3.1 特征预处理概述 676.3.2 特征缺失值处理 676.3.3 特征离散化 686.4 特征选择 696.4.1 特征选择概述 696.4.2 特征选择方法 706.5 特征降维 716.5.1 特征降维概述 716.5.2 特征降维方法 71第7章 机器学习 737.1 回归分析 737.1.1 概念描述 737.1.2 线性回归 747.1.3 广义线性回归 767.2 聚类分析 777.2.1 概念描述 777.2.2 应用举例 787.2.3 聚类算法分类 787.2.4 代表性聚类算法 807.3 分类分析 807.3.1 概念描述 807.3.2 常用分类算法 81第8章 数据可视化 878.1 数据可视化概述 878.1.1 定义与概念 888.1.2 数据可视化标准 888.1.3 可视化的挑战与发展趋势 888.2 应用场景 908.3 开源工具 908.3.1 R可视化相关工具 918.3.2 Python可视化相关工具 948.3.3 D3.js插件 998.4 RealRec平台数据可视化介绍 1008.4.1 力导向图 1008.4.2 雷达图 1018.4.3 和弦图 1018.4.4 趋势分析图 1028.4.5 箱线图 1028.4.6 散点图 1038.4.7 折线图 1038.4.8 饼图 1048.4.9 柱状图 104第三篇 大数据实践第9章 SDK与应用 1059.1 Spark ML介绍 1059.2 SDK接口介绍 1079.3 开发环境搭建 1079.4 项目结构与构建 1099.5 新算法编程开发 1149.6 算法打包与上传 1199.7 算法应用与评估 122第10章 应用实践 12410.1 实验一：水产品鲍鱼产量预测 12410.2 实验二：高校贫困生识别 14310.3 实验三：银行卡盗刷风险预警分析 16110.4 实验四：电影票房预测 18110.5 实验五：航空配餐预测 20510.6 实验六：个性化推荐 22610.7 实验七：风机预测性维护 23810.8 实验八：医保欺诈 259第11章 开放性实验 26111.1 实验一：就业局就业与失业大数据分析 26111.2 实验二：客户流失大数据分析 278