精通机器学习算法

目录 前言 第1 章 机器学习模型基础 1 1.1 模型和数据 1 1.2 机器学习模型的特性 21 1.2.1 可学习性 21 1.2.2 模型能力 22 1.2.3 估计器的偏差 25 1.2.4 估计器的方差 28 1.3 本章小结 32 扩展阅读 32 第2 章 损失函数和正则化 33 2.1 损失函数和代价函数的定义 33 2.2 正则化 39 2.3 本章小结 46 扩展阅读 46 第3 章 半监督学习导论 47 3.1 半监督学习场景 47 3.1.1 因果场景 48 3.1.2 直推学习 49 3.1.3 归纳学习 50 3.1.4 半监督假设 50 3.2 生成式高斯混合 54 3.2.1 生成式高斯混合理论 54 3.2.2 生成式高斯混合模型实例 56 3.2.3 生成式高斯混合小结 62 3.3 自训练算法 64 3.3.1 自训练理论 64 3.3.2 鸢尾属植物数据集的自训练实例 66 3.3.3 自训练小结 69 3.4 协同训练算法 70 3.4.1 协同训练理论 70 3.4.2 葡萄酒数据集的协同训练实例 71 3.4.3 协同训练小结 76 3.5 本章小结 76 扩展阅读 · 76 第4 章 高级半监督分类 · 78 4.1 对比悲观似然估计 78 4.1.1 对比悲观似然估计理论 79 4.1.2 对比悲观似然估计实例 80 4.1.3 对比悲观似然估计小结 84 4.2 半监督支持向量机(S3VM) · 84 4.2.1 S3VM 理论 84 4.2.2 S3VM 实例 87 4.2.3 S3VM 小结 93 4.3 直推支持向量机(TSVM) · 93 4.3.1 TSVM 理论 94 4.3.2 TSVM 实例 94 4.3.3 TSVM 小结 ·102 4.4 本章小结 103 扩展阅读 103 第5 章 基于图的半监督学习 105 5.1 标签传播算法 105 5.1.1 标签传播算法实例 ·108 5.1.2 scikit-learn 的标签传播算法 112 5.2 标签扩散算法 114 5.2.1 标签扩散算法实例 · 116 5.2.2 拉普拉斯矩阵正则化提升平滑度 · 117 5.3 基于马尔可夫随机游走的标签传播算法 121 5.4 流形学习 126 5.4.1 等距特征映射流形学习算法 ·126 5.4.2 局部线性嵌入算法 · 129 5.4.3 拉普拉斯谱嵌入算法 · 131 5.4.4 t-SNE 133 5.5 本章小结 137 扩展阅读 137 第6 章 聚类和无监督学习模型 139 6.1 k *近邻(KNN)算法 139 6.1.1 k ? d 树 143 6.1.2 球树 · 143 6.1.3 KNN 模型的拟合 144 6.1.4 scikit-learn 的KNN 实例 145 6.2 k 均值 147 6.2.1 k 均值++方法 · 150 6.2.2 scikit-learn 的k 均值算法实例 151 6.3 评估指标 154 6.3.1 一致性评分 · 155 6.3.2 完整性评分 · 155 6.3.3 调整兰德指数(相似性) · 156 6.3.4 轮廓系数 · 157 6.4 本章小结 160 扩展阅读 161 第7 章 高级聚类和无监督学习模型 162 7.1 模糊c 均值 162 7.2 谱聚类 168 7.3 DBSCAN 174 7.3.1 scikit-learn 的DBSCAN 实例 177 7.3.2 DBSCAN 结果的分析 180 7.4 本章小结 183 扩展阅读 184 第8 章 面向营销的聚类和无监督学习模型 185 8.1 双聚类 185 8.2 利用Apriori 算法的购物篮分析 190 8.3 本章小结 195 扩展阅读 195 第9 章 广义线性模型和回归 197 9.1 广义线性模型 197 9.1.1 *小二乘估计 ·198 9.1.2 *小二乘估计的偏差和方差 ·201 9.1.3 Python 实现的线性回归实例 ·201 9.1.4 利用Statsmodels 计算线性回归的置信区间 ·204 9.1.5 利用胡贝尔损失(Huber loss)提高应对异值点的鲁棒性 ·207 9.2 其他回归方法 209 9.2.1 岭回归 ·210 9.2.2 采用Lasso 回归和逻辑回归的风险建模 214 9.2.3 多项式回归 ·219 9.2.4 保序回归 ·226 9.3 本章小结 228 扩展阅读 229 第10 章 时序分析导论 · 230 10.1 时间序列 · 230 10.2 时序的线性模型 · 233 10.2.1 自相关 234 10.2.2 AR、MA 和ARMA 过程 ·236 10.3 本章小结 · 242 扩展阅读 243 第11 章 贝叶斯网络和隐马尔可夫模型 · 244 11.1 条件概率与贝叶斯定理 · 244 11.2 贝叶斯网络 · 248 11.2.1 从贝叶斯网络中采样 248 11.2.2 PyMC3 采样 257 11.2.3 PyStan 采样 264 11.3 隐马尔可夫模型 · 269 11.3.1 前向 ? 后向算法 270 11.3.2 维特比算法 276 11.4 本章小结 · 280 扩展阅读 281 第12 章 *大期望算法 · 282 12.1 MLE 和MAP 学习 282 12.2 *大期望算法 284 12.2.1 凸函数与詹森不等式 285 12.2.2 詹森不等式在*大期望算法中的应用 287 12.2.3 参数估计示例 288 12.3 高斯混合模型 291 12.3.1 利用scikit-learn 的高斯混合示例 293 12.3.2 利用AIC 和BIC 确定*佳的高斯分布数量 · 296 12.3.3 利用贝叶斯高斯混合的自动分布选择 298 12.4 本章小结 300 扩展阅读 300 第13 章 成分分析和降维 · 301 13.1 因子分析 301 13.1.1 线性关系分析 302 13.1.2 利用scikit-learn 的因子分析示例 304 13.2 主成分分析 308 13.2.1 成分重要性评价 309 13.2.2 利用scikit-learn 的PCA 示例 · 312 13.2.3 核PCA 313 13.2.4 稀疏PCA 316 13.3 独立成分分析 318 13.4 隐马尔可夫模型的补充知识 322 13.5 本章小结 322 扩展阅读 323 第14 章 赫布学习 · 324 14.1 赫布法则 324 14.1.1 协方差法则分析 329 14.1.2 权重向量稳定化与奥佳法则 332 14.2 桑格网络 333 14.3 鲁布纳 ? 塔万网络(Rubner-Tavan's network) · 339 14.4 自组织映射 344 14.4.1 科霍宁映射 346 14.4.2 自组织映射示例 348 14.5 本章小结 · 352 扩展阅读 352 第15 章 集成学习基础 · 354 15.1 集成学习基础 · 354 15.2 随机森林 · 356 15.2.1 随机森林基础 356 15.2.2 使用决策树的原因 358 15.2.3 随机森林与偏差 ? 方差权衡 359 15.2.4 scikit learn 的随机森林示例 ·361 15.3 AdaBoost · 367 15.3.1 AdaBoost.SAMME 371 15.3.2 AdaBoost.SAMME.R 372 15.3.3 AdaBoost.R2 ·374 15.3.4 利用scikit learn 的AdaBoost 实例 377 15.4 本章小结 · 382 扩展阅读 382 第16 章 高级提升算法 · 383 16.1 梯度提升 · 383 16.1.1 梯度提升的损失函数 386 16.1.2 利用scikit-learn 的梯度树提升示例 387 16.1.3 利用XGBoost 的梯度提升示例 390 16.2 投票分类器集成 · 395 16.3 集成学习作为模型选择 · 399 16.4 本章小结 · 400 扩展阅读 401 第17 章 神经网络建模 · 402 17.1 基本的人工神经元 · 402 17.2 感知机 · 403 17.3 多层感知机 · 409 17.4 反向传播算法 · 413 17.4.1 随机梯度下降(SGD) 415 17.4.2 权重初始化 417 17.4.3 利用TensorFlow 和Keras 的多层感知机示例 419 17.5 本章小结 423 扩展阅读 423 第18 章 神经网络优化 · 425 18.1 优化算法 425 18.1.1 梯度摄动 427 18.1.2 动量(momentum)和涅斯捷罗夫动量(Nesterov momentum) 427 18.1.3 RMSProp 自适应算法 429 18.1.4 Adam 算法 430 18.1.5 AdaGrad 算法 431 18.1.6 AdaDelta 算法 432 18.2 正则化和暂弃 434 18.2.1 正则化 434 18.2.2 暂弃(dropout) 436 18.3 批量归一化 442 18.4 本章小结 446 扩展阅读 446 第19 章 深度卷积网络 · 448 19.1 深度卷积网络 448 19.2 卷积算子 449 19.2.1 二维离散卷积 451 19.2.2 空洞卷积 455 19.2.3 可分离卷积 456 19.2.4 转置卷积 457 19.3 池化层 457 19.4 TensorFlow 和Keras 的深度卷积网络算法示例 461 19.5 本章小结 471 扩展阅读 472 第20 章 循环神经网络 · 473 20.1 循环网络 473 20.1.1 时间反向传播 474 20.1.2 BPTT 的局限 475 20.2 长短期记忆 476 20.2.1 门控循环单元(GRU) 480 20.2.2 利用TensorFlow 和Keras 的LSTM 示例 482 20.3 迁移学习 · 487 20.4 本章小结 · 489 扩展阅读 489 第21 章 自编码器 · 491 21.1 自编码器 · 491 21.2 去噪自编码器 · 500 21.3 稀疏自编码器 · 502 21.4 变分自编码器 · 507 21.5 本章小结 · 514 扩展阅读 515 第22 章 生成对抗网络导论 · 516 22.1 对抗训练 · 516 22.2 深度卷积生成对抗网络 · 519 22.2.1 利用TensorFlow 的DCGAN 示例 519 22.2.2 模式崩溃 526 22.3 瓦萨斯坦恩生成对抗网络· 528 22.4 本章小结 · 535 扩展阅读 536 第23 章 深度置信网络 · 537 23.1 马尔可夫随机场简介 · 537 23.2 受限玻尔兹曼机 · 539 23.3 深度置信网络 · 542 23.3.1 Python 实现的无监督深度置信网络示例 544 23.3.2 Python 实现的监督DBN 示例 ·546 23.4 本章小结 · 549 扩展阅读 550 第24 章 强化学习导论 · 551 24.1 强化学习的基本概念 · 551 24.1.1 马尔可夫决策过程 552 24.1.2 环境 553 24.1.3 策略 556 24.2 策略迭代 557 24.3 值迭代 565 24.4 TD(0)算法 571 24.5 本章小结 579 扩展阅读 580 第25 章 高级策略估计算法 · 581 25.1 TD(λ)算法 581 25.1.1 更复杂棋盘环境的TD(λ)应用 585 25.1.2 棋盘格环境中的玩家 ? 评委TD(0)示例 · 593 25.2 SARSA 算法 599 25.3 Q 学习 605 25.3.1 棋盘环境中的Q 学习示例 606 25.3.2 用神经网络建立策略模型的Q 学习示例 609 25.4 基于策略梯度的直接策略搜索 620 25.5 本章小结 627 扩展阅读 627 后记 629