机器学习导论

目 录 第1章 机器学习概述 ………………………………………………………… 1 1.1 什么是机器学习 ………………………………………………………… 1 1.2 机器学习的基本框架 …………………………………………………… 2 1.3 机器学习发展简史 ……………………………………………………… 5 1.4 机器学习的流派 ………………………………………………………… 7 1.4.1 符号学派 ………………………………………………………… 8 1.4.2 贝叶斯学派 ……………………………………………………… 8 1.4.3 连接学派 ……………………………………………………… 10 1.4.4 进化仿生学派 ………………………………………………… 11 1.4.5 哪个学派更占主流 …………………………………………… 12 1.5 让人惊讶的学习 ………………………………………………………… 13 1.5.1 从猴子摘香蕉到星际大战 …………………………………… 13 1.5.2 集体学习的机器人 …………………………………………… 14 1.5.3 图片理解 ……………………………………………………… 16 1.5.4 金融市场量化分析 …………………………………………… 18 1.5.5 AlphaG o ……………………………………………………… 20 1.6 机器学习技术的前沿 …………………………………………………… 21 1.7 机器智能会超过人类智能吗 …………………………………………… 22 1.8 机器学习基础 …………………………………………………………… 23 1.8 1 训练、验证与测试 ……………………………………………… 23 . 1.8. 2 参数过拟合、交叉验证与正则化 ……………………………… 24 1. 8.3 结构过拟合与模型选择 ……………………………………… 24_x00C_@ 1. 8.4 机器学习方法分类 …………………………………………… 27 1.9 开始你的机器学习之旅 ………………………………………………… 29 1.9.1 如何开始一个机器学习任务 ………………………………… 29 1.9.2 如何学习机器学习 …………………………………………… 30 1. 10 相关资源 ……………………………………………………………… 30 第2章 线性模型 ……………………………………………………………… 33 2.1 线性预测模型 …………………………………………………………… 33 2.1.1 从多项式拟合说起 …………………………………………… 34 2.1.2 线性回归 ……………………………………………………… 36 2.1.3 Fisher准则与线性分类 ……………………………………… 39 2.1.4 Logistic回归 ………………………………………………… 42 2.1.5 小结 …………………………………………………………… 44 2.2 线性概率模型 …………………………………………………………… 45 2.2.1 主成分分析 …………………………………………………… 46 2.2.2 概率主成分分析 ……………………………………………… 47 2.2.3 概率线性判别分析 …………………………………………… 50 2.3 贝叶斯方法 ……………………………………………………………… 52 2.4 本章小结 ………………………………………………………………… 54 2.5 相关资源 ………………………………………………………………… 55 第3章 神经模型 ……………………………………………………………… 56 3.1 神经网络概述 …………………………………………………………… 57 3.1.1 什么是人工神经网络 ………………………………………… 58 3.1.2 神经模型与其他方法 ………………………………………… 58 3.2 基于映射的神经模型 …………………………………………………… 59 3.2.1 从线性模型开始 ……………………………………………… 59 3.2.2 多层感知器 …………………………………………………… 62 3.2.3 径向基函数网络 ……………………………………………… 67 3.2.4 神经网络模型与先验知识 …………………………………… 69 3.3 基于记忆的神经模型 …………………………………………………… 72 3.3.1 Kohonen网络 ………………………………………………… 73 3.3.2 Hopfield网络 ………………………………………………… 75 3.3.3 玻尔兹曼机 …………………………………………………… 78 3.3.4 受限玻尔兹曼机 ……………………………………………… 81 Ⅷ ??_x00C_目 录 3. 3.5 自编码器 ……………………………………………………… 84 3.4 基于过程的模型 ………………………………………………………… 87 3.4.1 ElmanRNN …………………………………………………… 88 3.4.2 门网络 ………………………………………………………… 89 3.4.3 序列对序列网络 ……………………………………………… 93 3.4.4 基于 Attention模型的诗词生成……………………………… 95 3.5 神经图灵机 ……………………………………………………………… 97 3.6 本章小结 ………………………………………………………………… 99 3.7 相关资源 ……………………………………………………………… 100 第4章 深度学习 …………………………………………………………… 101 4.1 从浅层学习到深度学习 ……………………………………………… 101 4.1.1 网络表达能力 ………………………………………………… 102 4.1.2 层次表示与特征学习 ………………………………………… 103 4.1.3 显著特征的非监督学习 ……………………………………… 104 4.1.4 复杂结构与数据驱动 ………………………………………… 109 4.2 深度神经网络训练 …………………………………………………… 110 4.2.1 基础训练算法 ………………………………………………… 110 4.2.2 DNN训练的困难 …………………………………………… 116 4.2.3 DNN训练技巧 ……………………………………………… 125 4.3 神经网络的正则化 …………………………………………………… 134 4.3.1 结构化网络与参数共享 ……………………………………… 135 4.3.2 范式约束与稀疏网络 ………………………………………… 137 4.3.3 加噪训练与数据增强 ………………………………………… 140 4.3.4 联合训练 ……………………………………………………… 140 4.3.5 知识迁移 ……………………………………………………… 143 4.4 生成模型下的深度学习 ……………………………………………… 145 4.4.1 神经网络的简单概率表达 …………………………………… 145 4.4.2 后验拟合与 VariationalAE ………………………………… 147 4.4.3 Variational R N N …………………………………………… 151 4.5 计算图与复杂神经网络 ……………………………………………… 153 4.5.1 由 Chain Rule到计算图 …………………………………… 154 4.5.2 基于计算图的参数优化 ……………………………………… 156 4.5.3 计算图的模块化 ……………………………………………… 157 4.5.4 计算图与深度神经网络 ……………………………………… 157 Ⅸ ??_x00C_@ 4.6 计算平台与方法 ……………………………………………………… 160 4.6.1 GPU与 TPU ………………………………………………… 160 4.6.2 并行计算 ……………………………………………………… 161 4.6.3 模型压缩 ……………………………………………………… 167 4.7 深度学习的应用 ……………………………………………………… 169 4.7.1 语音信号处理 ………………………………………………… 169 4.7.2 自然语言处理 ………………………………………………… 173 4.7.3 计算机视觉 …………………………………………………… 176 4.8 本章小结 ……………………………………………………………… 179 4.9 相关资源 ……………………………………………………………… 180 第5章 核方法 ………………………………………………………………… 181 5.1 从线性回归到核方法 ………………………………………………… 183 5.2 核函数的性质 ………………………………………………………… 184 5.2.1 再生核希尔伯特空间与 Mercer定理 ……………………… 184 5.2.2 核函数的基本性质 …………………………………………… 186 5.3 常用核函数 …………………………………………………………… 186 5.3.1 简单核函数 …………………………………………………… 187 5.3.2 概率核 ………………………………………………………… 188 5.3.3 复杂对象上的核函数 ………………………………………… 189 5.4 KernelPCA …………………………………………………………… 195 5.5 高斯过程 ……………………………………………………………… 197 5.6 支持向量机 …………………………………………………………… 199 5.6.1 线性可分的 SV M …………………………………………… 200 5.6.2 线性不可分的 SV M ………………………………………… 202 5.6.3v-SV M ……………………………………………………… 204 5.6.4 SVM的若干讨论 …………………………………………… 205 5.7 相关向量机 …………………………………………………………… 206 5.8 本章小结 ……………………………………………………………… 208 5.9 相关资源 ……………………………………………………………… 209 第6章 图模型 ………………………………………………………………… 210 6.1 概率图模型简介 ……………………………………………………… 211 6.2 有向图模型 …………………………………………………………… 212 6.2.1 典型模型 ……………………………………………………… 212 Ⅹ ??_x00C_目 录 6. 2.2 有向图变量相关性判断 ……………………………………… 214 6.3 无向图模型 …………………………………………………………… 217 6.3.1 无向图变量相关性判断 ……………………………………… 218 6.3.2 有向图向无向图转化 ………………………………………… 219 6.3.3 有向图和无向图对比 ………………………………………… 221 6.4 常用概率图模型 ……………………………………………………… 221 6.4.1 高斯混合模型 ………………………………………………… 221 6.4.2 隐马尔可夫模型 ……………………………………………… 225 6.4.3 线性条件随机场 ……………………………………………… 229 6.5 EM算法 ……………………………………………………………… 232 6.6 精确推理算法 ………………………………………………………… 235 6.6.1 加和—乘积算法 ……………………………………………… 235 6.6.2 树状图的加和—乘积算法 …………………………………… 237 6.6.3 联合树算法 …………………………………………………… 238 6.7 近似推理算法 ………………………………………………………… 240 6.7.1 采样法 ………………………………………………………… 241 6.7.2 变分法 ………………………………………………………… 246 6.7.3 采样法和变分法比较 ………………………………………… 250 6.8 本章小结 ……………………………………………………………… 250 6.9 相关资源 ……………………………………………………………… 251 第7章 无监督学习 ………………………………………………………… 252 7.1 无监督学习任务 ……………………………………………………… 253 7.1.1 聚类概述 ……………………………………………………… 253 7.1.2 流形学习概述 ………………………………………………… 254 7.1.3 因子学习 ……………………………………………………… 255 7.2 聚类方法 ……………………………………………………………… 256 7.2.1 基于划分的聚类方法 ………………………………………… 256 7.2.2 基于连接的聚类方法 ………………………………………… 258 7.2.3 基于密度的聚类方法 ………………………………………… 262 7.2.4 基于模型的聚类方法 ………………………………………… 263 7.3 流形学习 ……………………………………………………………… 264 7.3.1 主成分分析 …………………………………………………… 266 7.3.2 多维标度 ……………………………………………………… 268 7.3.3 ISO M AP …………………………………………………… 269 Ⅺ ??_x00C_@ 7. 3.4 自组织映射 …………………………………………………… 271 7.3.5 局部线性嵌入 ………………………………………………… 273 7.3.6 谱嵌入 ………………………………………………………… 276 7.3.7 t-SNE ………………………………………………………… 276 7.3.8 流形学习方法比较 …………………………………………… 279 7.4 图模型与无监督学习 ………………………………………………… 279 7.4.1 图模型下的聚类任务 ………………………………………… 279 7.4.2 图模型下的流形学习 ………………………………………… 280 7.4.3 图模型下的因子学习 ………………………………………… 281 7.5 神经模型与无监督学习 ……………………………………………… 282 7.5.1 特征学习任务中的因子学习 ………………………………… 282 7.5 2 生成任务中的因子学习 ……………………………………… 283 . 7.5.3 分类/回归任务中的因子学习 ……………………………… 283 7.6 本章小结 ……………………………………………………………… 285 7.7 相关资源 ……………………………………………………………… 286 第8章 非参数模型 ………………………………………………………… 287 8.1 简单非参数模型 ……………………………………………………… 288 8.2 回顾高斯过程 ………………………………………………………… 290 8.2.1 高斯过程定义 ………………………………………………… 290 8.2.2 高斯过程回归 ………………………………………………… 292 8.2.3 高斯过程用于分类任务 ……………………………………… 296 8.3 狄利克雷过程 ………………………………………………………… 296 8.3.1 回顾高斯混合模型 …………………………………………… 297 8.3.2 中国餐馆问题 ………………………………………………… 298 8.3.3 狄利克雷分布及性质 ………………………………………… 300 8.3.4 狄利克雷过程的定义 ………………………………………… 302 8.3.5 狄利克雷过程的表示 ………………………………………… 303 8.3.6 狄利克雷过程的构造 ………………………………………… 307 8.3.7 推理方法 ……………………………………………………… 309 8.3.8 HierarchicalDP(HDP)……………………………………… 311 8.4 本章小结 ……………………………………………………………… 312 8.5 相关资源 ……………………………………………………………… 313 第9章 演化学习 …………………………………………………………… 315 9.1 基于采样的优化方法 ………………………………………………… 316 Ⅻ ??_x00C_目 录 9. 1.1 演化学习 ……………………………………………………… 316 9.1.2 群体学习与随机优化 ………………………………………… 317 9.2 遗传算法 ……………………………………………………………… 318 9.2.1 算法框架 ……………………………………………………… 319 9.2.2 算法细节 ……………………………………………………… 320 9.2.3 进化理论 ……………………………………………………… 324 9.3 遗传编程 ……………………………………………………………… 328 9.3.1 算法基础 ……………………………………………………… 328 9.3.2 GP高级话题 ………………………………………………… 333 9.3.3 其他演化学习方法 …………………………………………… 335 9.4 群体学习方法 ………………………………………………………… 336 9.4.1 蚁群优化算法 ………………………………………………… 337 9.4.2 人工蜂群算法 ………………………………………………… 338 9.4.3 粒子群算法 …………………………………………………… 340 9.4.4 捕猎者搜索 …………………………………………………… 341 9.4.5 萤火虫算法 …………………………………………………… 342 9.5 随机优化方法 ………………………………………………………… 342 9.5.1 模拟退火算法 ………………………………………………… 342 9.5.2 杜鹃搜索 ……………………………………………………… 343 9.5.3 和声搜索 ……………………………………………………… 344 9.5.4 禁忌搜索 ……………………………………………………… 344 9.6 本章小节 ……………………………………………………………… 345 9.7 相关资源 ……………………………………………………………… 347 第10章 强化学习 …………………………………………………………… 348 10. 1 强化学习概述 ………………………………………………………… 349 10. 1. 1 什么是强化学习 …………………………………………… 349 10. 1. 2 与其他学习方法的区别 …………………………………… 350 10. 1. 3 强化学习的应用 …………………………………………… 352 10. 2 强化学习的基本要素 ………………………………………………… 353 10. 2. 1 强化学习三元素 …………………………………………… 353 10. 2. 2 长期收益 …………………………………………………… 353 10. 2. 3 值函数与策略优化 ………………………………………… 354 10. 2. 4 通用策略迭代 ……………………………………………… 355 10. 2. 5 强化学习算法分类 ………………………………………… 356 ü ??_x00C_@ 10. 3 值函数学习:基于模型的规划算法 ………………………………… 358 10. 3. 1 马尔可夫决策过程 ………………………………………… 358 10. 3. 2 MDP中的值函数 …………………………………………… 360 10. 3. 3 策略估值:动态规划算法 …………………………………… 361 10. 3. 4 策略优化:策略迭代和值迭代 ……………………………… 362 10. 4 值函数学习:基于采样的蒙特卡罗方法 …………………………… 365 10. 4. 1 学习任务与采样方法 ……………………………………… 365 10. 4. 2 蒙特卡罗策略估值 ………………………………………… 365 10. 4. 3 蒙特卡罗策略优化 ………………………………………… 367 10. 5 值函数学习:基于采样的时序差分方法 …………………………… 370 10. 5. 1 基于 TD的策略估值 ……………………………………… 370 10. 5. 2 基于 TD的策略优化 ……………………………………… 372 10. 5. 3 N-step TD与 TD(λ)……………………………………… 374 10. 5. 4 三种值函数学习方法总结 ………………………………… 375 10. 6 模型学习 ……………………………………………………………… 377 10. 6. 1 值函数学习与模型学习 …………………………………… 377 10. 6. 2 模型学习方法 ……………………………………………… 378 10. 6. 3 Dyna :混合学习方法 ……………………………………… 379 10. 7 函数近似与策略学习 ………………………………………………… 380 10. 7. 1 值函数近似 ………………………………………………… 381 10. 7. 2 基于梯度的参数优化 ……………………………………… 383 10. 7. 3 基于函数近似的策略学习 ………………………………… 383 10. 7. 4 Actor-Critic方法 …………………………………………… 385 10. 8 深度强化学习方法 …………………………………………………… 386 10. 8. 1 Atari游戏 …………………………………………………… 387 10. 8. 2 AlphaG o …………………………………………………… 388 10. 9 本章小结 ……………………………………………………………… 391 10. 10 相关资源 …………………………………………………………… 391 第11章 优化方法 …………………………………………………………… 393 11. 1 函数优化 ……………………………………………………………… 394 11. 1. 1 优化问题定义 ……………………………………………… 394 11. 1. 2 优化问题分类 ……………………………………………… 395 11. 1. 3 基础定理 …………………………………………………… 395 11. 2 无约束优化问题 ……………………………………………………… 396 y ??_x00C_目 录 11. 2. 1 线性搜索 …………………………………………………… 396 11. 2. 2 置信域优化 ………………………………………………… 401 11. 3 带约束优化问题 ……………………………………………………… 404 11. 3. 1 拉格朗日乘子法 …………………………………………… 405 11. 3. 2 对偶问题 …………………………………………………… 407 11. 3. 3 线性规划 …………………………………………………… 409 11. 3. 4 二阶规划 …………………………………………………… 415 11. 3. 5 一般非线性优化 …………………………………………… 420 11. 4 本章小结 ……………………………………………………………… 425 11. 5 相关资源 ……………………………………………………………… 426 参考文献 ………………………………………………………………………… 427 t ??_x00C_