统计学习要素:机器学习中的数据挖掘.推断与预测(第2版)

简明目录 第1 章概述1 第2 章监督学习综述7 第3 章回归的线性方法7 第4 章分类的线性方法77 第5 章基展开与正则化方法105 第6 章核平滑方法143 第7 章模型的评估和选择165 第8 章模型的推断和平均197 第9 章加性模型、树和相关方法223 第10 章Boosting 和加性树255 第11 章神经网络293 第12 章支持向量机与柔性判别分析315 第13 章原型方法与*近邻347 第14 章非监督学习365 第15 章随机森林441 第16 章集成学习455 第17 章无向图模型471 第18 章高维问题：p?N 489 第1 章概述 1 1.1 示例1：垃圾邮件 1 1.2 示例2：前列腺癌 2 1.3 示例3：手写数字识别 2 1.4 示例4：DNA 表达微阵列 4 1.5 本书的读者群体 5 1.6 本书的组织 6 1.7 本书网站 6 1.8 给教师的建议 6 第2 章监督学习综述 7 2.1 概述 7 2.2 变量类型和术语 7 2.3 两个简单的预测方法：*小二乘和*近邻 8 2.3.1 线性模型和*小二乘 8 2.3.2 *近邻方法 11 2.3.3 从*小二乘到*近邻 12 2.4 统计决策理论 14 2.5 高维中的局部方法 17 2.6 统计模型、监督学习和函数逼近 21 2.6.1 联合分布Pr(??,??) 的统计模型 21 2.6.2 监督学习 22 2.6.3 函数逼近 22 2.7 结构化的回归模型 24 2.8 受限估计子的种类 26 2.8.1 粗糙度惩罚和贝叶斯方法 26 2.8.2 核方法和局部回归 26 2.8.3 基函数和词典方法 27 2.9 模型选择和偏差-方差折衷 28 文献说明 30 习题 30 第3 章回归的线性方法 33 3.1 概述 33 3.2 线性回归模型和*小二乘 33 3.2.1 示例：前列腺癌 38 3.2.2 高斯-马尔可夫定理 39 3.2.3 源自简单一元回归的多元回归 40 3.2.4 多元输出 43 3.3 子集选择 44 3.3.1 *佳子集选择 44 3.3.2 分步前向和分步反向选择 45 3.3.3 分阶段前向回归 46 3.3.4 示例：前列腺癌（续） 46 3.4 收缩方法 47 3.4.1 岭回归 48 3.4.2 Lasso 回归 52 3.4.3 讨论：子集选择、岭回归和Lasso 回归 . 54 3.4.4 *小角度回归 56 3.5 采用导出的输入方向的方法 60 3.5.1 主成分回归 60 3.5.2 偏*小二乘 61 3.6 讨论：选择和收缩方法的比较 62 3.7 多元输出的收缩和选择 63 3.8 关于Lasso 和相关路径算法的更多讨论 65 3.8.1 增量式分阶段前向回归 65 3.8.2 分段线性路径算法 67 3.8.3 Dantzig 选择算子 67 3.8.4 成组Lasso 68 3.8.5 Lasso 的进一步特性 69 3.8.6 逐路径坐标优化 70 3.9 计算考虑 71 文献说明 71 习题 71 第4 章分类的线性方法 77 4.1 概述 77 4.2 指示矩阵的线性回归 78 4.3 线性判别分析 82 4.3.1 正则判别分析 85 4.3.2 LDA 的计算 86 4.3.3 降秩线性判别分析 86 4.4 Logistic 回归 90 4.4.1 拟合Logistics 回归模型 90 4.4.2 示例：南非人的心脏病 92 4.4.3 二次逼近和推断 94 4.4.4 ??1 正则化Logistic 回归 95 4.4.5 Logistic 回归或LDA? 96 4.5 分离超平面 97 4.5.1 罗森布拉特的感知机学习算法 99 4.5.2 *优分离超平面 100 文献说明 102 习题 102 第5 章基展开与正则化方法 105 5.1 概述 105 5.2 分段多项式与样条 106 5.2.1 自然三次样条 109 5.2.2 示例：南非心脏病（续） 109 5.2.3 示例：音素识别 111 5.3 滤波与特征抽取 113 5.4 平滑样条 113 5.5 平滑参数的自动选取 118 5.5.1 固定自由度 118 5.5.2 偏差—方差折衷 119 5.6 非参Logistic 回归 121 5.7 多维样条 122 5.8 正则化与再生核希尔伯特空间 126 5.8.1 核生成的函数空间 126 5.8.2 RKHS 的例子 126 5.9 小波平滑 131 5.9.1 小波基与小波变换 133 5.9.2 自适应小波滤波 135 文献说明 137 习题 137 附加内容：样条的计算 140 ?? 样条 140 平滑样条的计算 142 第6 章核平滑方法 143 6.1 一维核平滑方法 143 6.1.1 局部线性回归 145 6.1.2 局部多项式回归 147 6.2 选择核宽度 149 6.3 R?? 上的局部回归 150 6.4 R?? 上特征结构化局部回归 152 6.4.1 结构化的核函数 152 6.4.2 结构化的回归函数 152 6.5 局部似然与其他模型 153 6.6 核密度估计与分类 156 6.6.1 核密度估计 156 6.6.2 核密度分类 157 6.6.3 朴素贝叶斯分类器 158 6.7 径向基函数与核 159 6.8 密度估计与分类的混合模型 161 6.9 计算细节 162 文献说明 163 习题 163 第7 章模型的评估和选择 165 7.1 概述 165 7.2 偏差、方差与模型复杂性 165 7.3 偏差-方差分解 168 7.4 训练错误率的乐观估计 171 7.5 样本内预测错误的估计 173 7.6 参数的有效个数 175 7.7 贝叶斯方法和BIC 175 7.8 *小描述长度 177 7.9 Vapnik-Chernovenkis 维数 178 7.10 交叉验证 182 7.10.1 ?? 折交叉验证 182 7.10.2 交叉验证的错误和正确做法 185 7.10.3 交叉验证有效吗？ 186 7.11 自举法 188 7.12 条件还是期望测试误差？ 191 文献说明 193 习题 194 第8 章模型的推断和平均 197 8.1 概述 197 8.2 Bootstrap 和*大似然方法 197 8.2.1 一个光滑的示例 197 8.2.2 *大似然推断 199 8.2.3 Bootstrap 与*大似然 201 8.3 贝叶斯方法 202 8.4 Bootstrap 和贝叶斯推断的联系 204 8.5 EM 算法 205 8.5.1 两分量混合模型 205 8.5.2 通用EM 算法 208 8.5.3 作为*大化－*大化过程的EM 209 8.6 MCMC 用于从后验中采样 210 8.7 Bagging 213 8.8 模型平均和Stacking 217 8.9 随机搜索：Bumping 219 文献说明 220 习题 221 第9 章加性模型、树和相关方法 223 9.1 广义加性模型 223 9.1.1 拟合加性模型 224 9.1.2 示例：加性Logistics 回归 226 9.1.3 示例：预测垃圾电子邮件 227 9.1.4 小结 229 9.2 基于树的方法 230 9.2.1 背景 230 9.2.2 回归树 231 9.2.3 分类树 233 9.2.4 其他问题 234 9.2.5 示例：垃圾邮件(续) 236 9.3 PRIM：凸块搜索 240 9.4 MARS：多元自适应回归样条 243 9.4.1 示例：垃圾邮件（续） 246 9.4.2 示例：模拟数据 247 9.4.3 其他问题 248 9.5 层次专家混合 248 9.6 缺失数据 251 9.7 计算考虑 252 文献说明 252 习题 253 第10 章Boosting 和加性树 255 10.1 Boosting 方法 255 10.2 Boosting 拟合加性模型 258 10.3 前向分阶段加性建模 258 10.4 指数损失和AdaBoost 259 10.5 为什么要用指数损失 261 10.6 损失函数和鲁棒性 262 10.6.1 用于分类的鲁棒损失函数 262 10.6.2 回归的鲁棒损失函数 264 10.7 数据挖掘的“现成”过程 265 10.8 示例：垃圾邮件数据 266 10.9 Boosting 树 268 10.10 通过梯度Boosting 的数值优化 270 10.10.1 *速下降 270 10.10.2 梯度Boosting 271 10.10.3 梯度Boosting 的执行 272 10.11 Boosting 合适大小的树 273 10.12 正则化 275 10.12.1 收缩 275 10.12.2 子采样 276 10.13 解释 277 10.13.1 预测变量的相对重要性 277 10.13.2 部分相关性图 278 10.14 实例 280 10.14.1 加州住房 280 10.14.2 新西兰黑鲂鱼 283 10.14.3 人口统计数据 287 文献说明 289 习题 290 第11 章神经网络 293 11.1 概述 293 11.2 投影寻踪回归 293 11.3 神经网络 295 11.4 拟合神经网络 297 11.5 神经网络训练中的一些问题 299 11.5.1 初始值 299 11.5.2 过拟合 299 11.5.3 输入数据的尺度 301 11.5.4 隐层是神经网络的学术语 301 11.5.5 多个极小值 301 11.6 示例：仿真数据 301 11.7 示例：邮政编码数据 303 11.8 讨论 307 11.9 贝叶斯神经网络和NIPS 2003 挑战 307 11.9.1 贝叶斯，Boosting 和Bagging 308 11.9.2 性能比较 309 11.10 计算问题 311 文献说明 312 习题 312 第12 章支持向量机与柔性判别分析 315 12.1 概述 315 12.2 支持向量机分类器 315 12.2.1 支持向量分类器的计算 317 12.2.2 示例：混合模型（续） 318 12.3 支持向量机与核 319 12.3.1 计算分类的SVM 320 12.3.2 作为罚方法的SVM 322 12.3.3 函数估计和重建核 323 12.3.4 SVM 和维数灾难 325 12.3.5 SVM 分类器的路径算法 326 12.3.6 用于回归支持向量机 328 12.3.7 回归与核 329 12.3.8 讨论 330 12.4 线性判别分析泛化 331 12.5 柔性判别分析 332 12.6 罚判别分析 337 12.7 混合判别分析 339 文献说明 343 习题 344 第13 章原型方法与*近邻 347 13.1 概述 347 13.2 原型方法 347 13.2.1 ??-均值聚类 347 13.2.2 向量量化学习 348 13.2.3 混合高斯 349 13.3 ??-近邻分类器 350 13.3.1 示例：一个比较性研究 352 13.3.2 示例：??-近邻和图像场景分类 353 13.3.3 不变度量和切距离 355 13.4 自适应*近邻方法 357 13.4.1 示例 360 13.4.2 *近邻的全局维数约简 361 13.5 计算考虑 361 文献说明 362 习题 362 第14 章非监督学习 365 14.1 概述 365 14.2 关联规则 366 14.2.1 购物车分析 367 14.2.2 Apriori 算法 368 14.2.3 示例：购物车分析 370 14.2.4 非监督作为监督学习 372 14.2.5 广义关联规则 374 14.2.6 监督学习方法的选择 375 14.2.7 示例：购物车分析（续） 376 14.3 聚类分析 377 14.3.1 邻接矩阵 378 14.3.2 基于属性的不相似性 379 14.3.3 目标不相似性 380 14.3.4 聚类算法 382 14.3.5 组合算法 382 14.3.6 ??-均值算法 383 14.3.7 作为软??-均值聚类的高斯混合 385 14.3.8 示例：人类癌症微阵列数据 385 14.3.9 向量量化 387 14.3.10 ??-中心点 388 14.3.11 实际问题 390 14.3.12 层次聚类 391 14.3.13 聚合聚类 394 14.4 自组织映射 398 14.5 主成分、主曲线和主曲面 402 14.5.1 主成分 402 14.5.2 主曲线和主曲面 407 14.5.3 谱聚类 409 14.5.4 核主成分 411 14.6 非负矩阵分解 415 14.7 独立分量分析和探测式投影寻踪 419 14.7.1 隐变量和因子分析 419 14.7.2 独立分量分析 421 14.7.3 探测式投影寻踪 425 14.7.4 ICA 的直接方法 425 14.8 多维尺度 428 14.9 非线性维数约简和局部多维尺度 430 14.10 谷歌的PageRank 算法 432 文献说明 434 习题 435 第15 章随机森林 441 15.1 概述 441 15.2 随机森林的定义 441 15.3 随机森林的细节 444 15.3.1 包外样本 445 15.3.2 变量重要性 445 15.3.3 邻近图 446 15.3.4 随机森林与过拟合 447 15.4 分析随机森林 449 15.4.1 变量与去相关影响 449 15.4.2 偏差 451 15.4.3 自适应*近邻 451 文献说明 452 习题 452 第16 章集成学习 455 16.1 概述 455 16.2 Boosting 与正则化路径 456 16.2.1 惩罚式回归 456 16.2.2 “押稀疏”原则 459 16.2.3 正则化路径，过拟合与边缘 461 16.3 集成学习 463 16.3.1 学习一个好的集成 464 16.3.2 规则集成 466 文献说明 468 习题 468 第17 章无向图模型 471 17.1 概述 471 17.2 马尔可夫图及其性质 472 17.3 连续变量的无向图模型 474 17.3.1 当图结构已知时的参数估计 475 17.3.2 图结构的估计 478 17.4 离散变量的无向图模型 481 17.4.1 图结构已知时参数的估计 481 17.4.2 隐节点 482 17.4.3 图结构的估计 484 17.4.4 受限玻尔兹曼机 484 文献说明 486 习题 486 第18 章高维问题：p?N 489 18.1 ?? 远大于?? 的情形 489 18.2 对角线性判别分析与*近收缩质心 490 18.3 二次正则化的线性分类器 494 18.3.1 正则化判别分析 494 18.3.2 二次正则化的Logistic 回归 495 18.3.3 支持向量分类器 495 18.3.4 特征选择 496 18.3.5 ?? ? ?? 时的计算捷径 496 18.4 ??1 正则化的线性分类器 498 18.4.1 Lasso 在蛋白质质谱仪中的应用 500 18.4.2 函数型数据的融合Lasso 502 18.5 特征无法获取时的分类 502 18.5.1 示例：字符串核以及蛋白质分类 504 18.5.2 使用内积核以及成对距离的分类和其他模型 505 18.5.3 示例：摘要分类 507 18.6 高维回归：有监督主成分 508 18.6.1 与隐变量模型的关联 511 18.6.2 与偏*小二乘的关联 512 18.6.3 特征选择的预条件处理 514 18.7 特征评估和多重检验问题 515 18.7.1 错误发现率 517 18.7.2 非对称割点和SAM 过程 520 18.7.3 FDR 的贝叶斯解释 521 文献说明 522 习题 522 参考文献 527 关键名词和术语中英文对照 543