Spark MLlib机器学习实践-(第2版)

目 录 第1章 星星之火 1 1.1 大数据时代 1 1.2 大数据分析时代 2 1.3 简单、优雅、有效——这就是Spark 3 1.4 核心——MLlib 4 1.5 星星之火，可以燎原 6 1.6 小结 6 第2章 Spark安装和开发环境配置 7 2.1 Windows单机模式Spark安装和配置 7 2.1.1 Windows 7安装Java 7 2.1.2 Windows 7安装Scala 10 2.1.3 Intellij IDEA下载和安装 13 2.1.4 Intellij IDEA中Scala插件的安装 14 2.1.5 HelloJava——使用Intellij IDEA创建Java程序 18 2.1.6 HelloScala——使用Intellij IDEA创建Scala程序 21 2.1.7 *后一脚——Spark单机版安装 26 2.2 经典的WordCount 29 2.2.1 Spark实现WordCount 29 2.2.2 MapReduce实现WordCount 31 2.3 小结 34 第3章 RDD详解 35 3.1 RDD是什么 35 3.1.1 RDD名称的秘密 35 3.1.2 RDD特性 36 3.1.3 与其他分布式共享内存的区别 37 3.1.4 RDD缺陷 37 3.2 RDD工作原理 38 3.2.1 RDD工作原理图 38 3.2.2 RDD的相互依赖 38 3.3 RDD应用API详解 39 3.3.1 使用aggregate方法对给定的数据集进行方法设定 39 3.3.2 提前计算的cache方法 42 3.3.3 笛卡尔操作的cartesian方法 43 3.3.4 分片存储的coalesce方法 44 3.3.5 以value计算的countByValue方法 45 3.3.6 以key计算的countByKey方法 45 3.3.7 除去数据集中重复项的distinct方法 46 3.3.8 过滤数据的filter方法 47 3.3.9 以行为单位操作数据的flatMap方法 47 3.3.10 以单个数据为目标进行操作的map方法 48 3.3.11 分组数据的groupBy方法 48 3.3.12 生成键值对的keyBy方法 49 3.3.13 同时对两个数据进行处理的reduce方法 50 3.3.14 对数据进行重新排序的sortBy方法 51 3.3.15 合并压缩的zip方法 52 3.4 小结 53 第4章 MLlib基本概念 54 4.1 MLlib基本数据类型 54 4.1.1 多种数据类型 54 4.1.2 从本地向量集起步 55 4.1.3 向量标签的使用 56 4.1.4 本地矩阵的使用 58 4.1.5 分布式矩阵的使用 59 4.2 MLlib数理统计基本概念 62 4.2.1 基本统计量 62 4.2.2 统计量基本数据 63 4.2.3 距离计算 64 4.2.4 两组数据相关系数计算 65 4.2.5 分层抽样 67 4.2.6 假设检验 69 4.2.7 随机数 70 4.3 小结 71 第5章 协同过滤算法 72 5.1 协同过滤 72 5.1.1 协同过滤概述 72 5.1.2 基于用户的推荐 73 5.1.3 基于物品的推荐 74 5.1.4 协同过滤算法的不足 75 5.2 相似度度量 75 5.2.1 基于欧几里得距离的相似度计算 75 5.2.2 基于余弦角度的相似度计算 76 5.2.3 欧几里得相似度与余弦相似度的比较 77 5.2.4 **个例子——余弦相似度实战 77 5.3 MLlib中的交替*小二乘法（ALS算法） 80 5.3.1 *小二乘法（LS算法）详解 81 5.3.2 MLlib中交替*小二乘法（ALS算法）详解 82 5.3.3 ALS算法实战 83 5.4 小结 85 第6章 MLlib线性回归理论与实战 86 6.1 随机梯度下降算法详解 86 6.1.1 道士下山的故事 87 6.1.2 随机梯度下降算法的理论基础 88 6.1.3 随机梯度下降算法实战 88 6.2 MLlib回归的过拟合 89 6.2.1 过拟合产生的原因 90 6.2.2 lasso回归与岭回归 91 6.3 MLlib线性回归实战 91 6.3.1 MLlib线性回归基本准备 91 6.3.2 MLlib线性回归实战：商品价格与消费者收入之间的关系 94 6.3.3 对拟合曲线的验证 95 6.4 小结 97 第7章 MLlib分类实战 98 7.1 逻辑回归详解 98 7.1.1 逻辑回归不是回归算法 98 7.1.2 逻辑回归的数学基础 99 7.1.3 一元逻辑回归示例 100 7.1.4 多元逻辑回归示例 101 7.1.5 MLlib逻辑回归验证 103 7.1.6 MLlib逻辑回归实例：肾癌的转移判断 104 7.2 支持向量机详解 106 7.2.1 三角还是圆 106 7.2.2 支持向量机的数学基础 108 7.2.3 支持向量机使用示例 109 7.2.4 使用支持向量机分析肾癌转移 110 7.3 朴素贝叶斯详解 111 7.3.1 穿裤子的男生or女生 111 7.3.2 贝叶斯定理的数学基础和意义 112 7.3.3 朴素贝叶斯定理 113 7.3.4 MLlib朴素贝叶斯使用示例 114 7.3.5 MLlib朴素贝叶斯实战：“僵尸粉”的鉴定 115 7.4 小结 117 第8章 决策树与保序回归 118 8.1 决策树详解 118 8.1.1 水晶球的秘密 119 8.1.2 决策树的算法基础：信息熵 119 8.1.3 决策树的算法基础——ID3算法 121 8.1.4 MLlib中决策树的构建 122 8.1.5 MLlib中决策树示例 123 8.1.6 随机雨林与梯度提升算法（GBT） 125 8.2 保序回归详解 127 8.2.1 何为保序回归 128 8.2.2 保序回归示例 128 8.3 小结 129 第9章 MLlib中聚类详解 130 9.1 聚类与分类 130 9.1.1 什么是分类 130 9.1.2 什么是聚类 131 9.2 MLlib中的Kmeans算法 131 9.2.1 什么是kmeans算法 131 9.2.2 MLlib中Kmeans算法示例 133 9.2.3 Kmeans算法中细节的讨论 134 9.3 高斯混合聚类 135 9.3.1 从高斯分布聚类起步 135 9.3.2 混合高斯聚类 137 9.3.3 MLlib高斯混合模型使用示例 137 9.4 快速迭代聚类 138 9.4.1 快速迭代聚类理论基础 138 9.4.2 快速迭代聚类示例 139 9.5 小结 140 第10章 MLlib中关联规则 141 10.1 Apriori频繁项集算法 141 10.1.1 啤酒与尿布 141 10.1.2 经典的Apriori算法 142 10.1.3 Apriori算法示例 144 10.2 FP-growth算法 145 10.2.1 Apriori算法的局限性 145 10.2.2 FP-growth算法 145 10.2.3 FP树示例 148 10.3 小结 149 第11章 数据降维 150 11.1 奇异值分解（SVD） 150 11.1.1 行矩阵（RowMatrix）详解 150 11.1.2 奇异值分解算法基础 151 11.1.3 MLlib中奇异值分解示例 152 11.2 主成分分析（PCA） 153 11.2.1 主成分分析（PCA）的定义 154 11.2.2 主成分分析（PCA）的数学基础 154 11.2.3 MLlib中主成分分析（PCA）示例 155 11.3 小结 156 第12章 特征提取和转换 157 12.1 TF-IDF 157 12.1.1 如何查找所要的新闻 157 12.1.2 TF-IDF算法的数学计算 158 12.1.3 MLlib中TF-IDF示例 159 12.2 词向量化工具 160 12.2.1 词向量化基础 160 12.2.2 词向量化使用示例 161 12.3 基于卡方检验的特征选择 162 12.3.1 “吃货”的苦恼 162 12.3.2 MLlib中基于卡方检验的特征选择示例 163 12.4 小结 164 第13章 MLlib实战演练——鸢尾花分析 166 13.1 建模说明 166 13.1.1 数据的描述与分析目标 166 13.1.2 建模说明 168 13.2 数据预处理和分析 171 13.2.1 微观分析——均值与方差的对比分析 171 13.2.2 宏观分析——不同种类特性的长度计算 174 13.2.3 去除重复项——相关系数的确定 176 13.3 长与宽之间的关系——数据集的回归分析 180 13.3.1 使用线性回归分析长与宽之间的关系 180 13.3.2 使用逻辑回归分析长与宽之间的关系 183 13.4 使用分类和聚类对鸢尾花数据集进行处理 184 13.4.1 使用聚类分析对数据集进行聚类处理 184 13.4.2 使用分类分析对数据集进行分类处理 187 13.5 *终的判定——决策树测试 188 13.5.1 决定数据集的归类——决策树 188 13.5.2 决定数据集归类的分布式方法——随机雨林 190 13.6 小结 191