机器学习与人工智能:从理论到实践

序 前言 致谢 **部分 简 介 第1章 人工智能和机器学习简介 2 1.1 引言 2 1.2 什么是人工智能 2 1.3 什么是机器学习 3 1.4 本书的结构 3 1.4.1 简介 4 1.4.2 机器学习 4 1.4.3 构建端到端管道 4 1.4.4 人工智能 4 1.4.5 实现 5 1.4.6 结语 5 第2章 人工智能和机器学习的基本概念 6 2.1 引言 6 2.2 大数据和非大数据 6 2.2.1 什么是大数据 6 2.2.2 为什么我们应该区别对待大数据 6 2.3 学习类型 7 2.3.1 监督学习 7 2.3.2 无监督学习 7 2.3.3 强化学习 8 2.4 基于时间的机器学习方法 8 2.4.1 静态学习 8 2.4.2 动态学习 8 2.5 维数 8 2.6 线性和非线性 10 2.7 奥卡姆剃刀原理 12 2.8 “没有免费的午餐”定理 14 2.9 收益递减规律 14 2.10 机器学习的早期趋势 14 2.11 小结 15 第3章 数据的理解、表示和可视化 16 3.1 引言 16 3.2 理解数据 16 3.2.1 理解实体 17 3.2.2 理解属性 17 3.2.3 理解数据类型 18 3.3 数据的表示和可视化 19 3.3.1 主成分分析 19 3.3.2 线性判别分析 21 3.4 小结 22 第二部分 机 器 学 习 第4章 线性方法 26 4.1 引言 26 4.2 线性模型和广义线性模型 27 4.3 线性回归 27 4.3.1 定义问题 27 4.3.2 解决问题 27 4.4 正则化的线性回归 28 4.4.1 正则化 28 4.4.2 岭回归 29 4.4.3 Lasso回归 29 4.5 广义线性模型 30 4.6 k*近邻算法 30 4.6.1 KNN的定义 31 4.6.2 分类和回归 32 4.6.3 KNN的其他变体 32 4.7 小结 32 第5章 感知器和神经网络 34 5.1 引言 34 5.2 感知器 34 5.3 多层感知器或人工神经网络 35 5.3.1 前馈操作 35 5.3.2 非线性多层感知器或非线性人工神经网络 36 5.3.3 训练多层感知器 36 5.3.4 隐藏层 38 5.4 径向基函数网络 38 5.5 过度拟合与正则化 40 5.5.1 L1和L2正则化 40 5.5.2 丢弃正则化 41 5.6 小结 41 第6章 决策树 42 6.1 引言 42 6.2 为什么使用决策树 43 6.3 构建决策树的算法 43 6.4 回归树 44 6.5 分类树 45 6.6 决策指标 45 6.6.1 误分类误差 46 6.6.2 基尼指数 46 6.6.3 交叉熵或偏差 46 6.7 卡方自动交叉检验 47 6.8 训练决策树 47 6.9 集成决策树 48 6.10 Bagging集成树 48 6.11 随机森林 49 6.12 Boosted集成树 49 6.12.1 AdaBoost 50 6.12.2 梯度提升 50 6.13 小结 50 第7章 支持向量机 51 7.1 引言 51 7.2 动机和范围 51 7.2.1 扩展到多元分类 51 7.2.2 非线性情况的扩展 53 7.3 支持向量机理论 53 7.4 可分离性和间隔 54 7.4.1 正则化和软间隔SVM 54 7.4.2 松弛变量的使用 54 7.5 非线性与核函数的使用 55 7.5.1 径向基函数 55 7.5.2 多项式函数 56 7.5.3 Sigmoid 56 7.6 风险*小化 56 7.7 小结 56 第8章 概率模型 57 8.1 引言 57 8.2 判别模型 58 8.2.1 *大似然估计 58 8.2.2 贝叶斯方法 58 8.2.3 *大似然估计和贝叶斯方法的比较 59 8.3 生成模型 61 8.3.1 混合方法 62 8.3.2 贝叶斯网络 62 8.4 一些有用的概率分布 62 8.4.1 正态分布或高斯分布 63 8.4.2 伯努利分布 64 8.4.3 二项分布 65 8.4.4 伽马分布 66 8.4.5 泊松分布 67 8.5 小结 70 第9章 动态规划和强化学习 71 9.1 引言 71 9.2 动态规划的基本方程 71 9.3 动态规划下的问题类别 72 9.4 强化学习 73 9.4.1 强化学习的特点 73 9.4.2 框架和算法 73 9.5 探索和开发 74 9.6 强化学习应用示例 75 9.7 强化学习理论 76 9.8 小结 77 第10章 演化算法 78 10.1 引言 78 10.2 传统方法的瓶颈 78 10.3 达尔文的进化论 80 10.4 遗传规划 80 10.5 群体智能 82 10.6 蚁群优化 83 10.7 模拟退火 84 10.8 小结 84 第11章 时间序列模型 85 11.1 引言 85 11.2 平稳性 85 11.3 自回归和移动平均模型 87 11.3.1 自回归过程 87 11.3.2 移动平均过程 88 11.3.3 自回归移动平均过程 88 11.4 差分自回归移动平均模型 88 11.5 隐马尔可夫模型 89 11.6 条件随机场 91 11.7 小结 92 第12章 深度学习 93 12.1 引言 93 12.2 现代深度学习的起源 94 12.3 卷积神经网络 95 12.3.1 一维卷积 95 12.3.2 二维卷积 95 12.3.3 CNN的架构 96 12.3.4 训练CNN 98 12.4 循环神经网络 98 12.4.1 RNN的局限性 99 12