包邮现代机器学习

第1章 机器学习概述 1 1.1 机器学习的基本概念 1 1.2 机器学习的基本类别 1 1.2.1 经典机器学习 1 1.2.2 现代机器学习 6 1.3 机器学习的评估指标 7 1.3.1 机器学习三要素 8 1.3.2 评估方法 9 1.4 机器学习典型应用 11 1.4.1 专家系统 11 1.4.2 语音识别 12 1.4.3 机器翻译 12 1.4.4 自动驾驶 13 1.4.5 人脸检测 13 本章小结 14 习题 14 参考文献 14 第2章 数学基础知识 15 2.1 矩阵论基础 15 2.1.1 矩阵代数基础 15 2.1.2 矩阵方程求解 18 2.1.3 矩阵分析 19 2.2 *优化基础 21 2.2.1 *小二乘与线性规划 21 2.2.2 凸优化 22 2.2.3 非线性优化 23 2.3 统计学习基础 25 2.3.1 条件概率 25 2.3.2 期望与方差 25 2.3.3 *大似然估计 26 本章小结 27 习题 27 参考文献 28 第3章 线性回归与分类模型 29 3.1 线性回归模型 29 3.1.1 线性函数模型 30 3.1.2 偏置与方差分解 37 3.2 贝叶斯线性回归 38 3.2.1 问题定义 38 3.2.2 问题求解 39 3.3 正则化线性回归 41 3.3.1 岭回归 42 3.3.2 Lasso回归 44 3.3.3 逻辑回归 45 3.4 线性分类模型 46 3.4.1 生成式模型与判别式模型 47 3.4.2 线性判别分析 47 3.4.3 广义线性判别分析 48 本章小结 49 习题 49 参考文献 49 第4章 特征提取与选择 51 4.1 经典特征提取方法 52 4.1.1 主成分分析法 52 4.1.2 线性判别方法 54 4.1.3 流形学习方法 55 4.2 经典特征选择算法 58 4.2.1 特征选择基本步骤 58 4.2.2 特征选择搜索策略 61 4.2.3 特征选择评价准则 65 4.3 稀疏表示与字典学习 68 4.3.1 稀疏表示 69 4.3.2 字典学习 70 本章小结 71 习题 71 参考文献 72 第5章 决策树与集成学习 73 5.1 决策树 73 5.2 经典决策树算法 74 5.2.1 ID3算法 74 5.2.2 C4.5算法 75 5.2.3 CART算法 75 5.3 决策树的剪枝 76 5.3.1 预剪枝 77 5.3.2 后剪枝 77 5.4 集成学习 78 5.4.1 Bagging 80 5.4.2 Boosting 81 5.4.4 Stacking 83 5.4.5 深度集成学习 83 本章小结 87 习题 87 参考文献 89 第6章 支持向量机 91 6.1 支持向量机简介 91 6.2 线性支持向量机 91 6.2.1 函数间隔与几何间隔 92 6.2.2 线性可分问题 93 6.2.3 对偶问题 94 6.3 非线性支持向量机 96 6.3.1 核方法 97 6.3.2 常用核函数 98 6.3.3 非线性支持向量分类 99 6.4 支持向量机的应用 99 本章小结 100 习题 100 参考文献 100 第7章 贝叶斯决策理论 101 7.1 贝叶斯分类器 101 7.1.1 贝叶斯决策理论 101 7.1.2 *小风险贝叶斯决策规则 103 7.2 朴素贝叶斯分类器 105 7.3 贝叶斯网络 106 7.4 EM算法 106 本章小结 107 习题 107 参考文献 108 第8章 神经网络 109 8.1 神经网络基础 109 8.1.1 神经网络发展史 109 8.1.2 神经元 110 8.1.3 感知器 110 8.2 卷积神经网络 111 8.3 前馈神经网络 113 8.4 反向传播算法 114 8.5 其他常见神经网络 115 8.5.1 RBF网络 115 8.5.2 SOM网络 115 8.5.3 Hopfield网络 116 本章小结 118 习题 119 参考文献 119 第9章 聚类方法 121 9.1 聚类方法概述 121 9.2 K均值聚类 122 9.3 层次聚类 124 9.4 密度聚类 125 9.4.1 DBSCAN算法 126 9.4.2 OPTICS算法 126 9.4.3 Mean Shift算法 127 9.5 稀疏子空间聚类 128 本章小结 129 习题 129 参考文献 130 第10章 半监督学习 131 10.1 半监督学习概述 131 10.2 半监督分类方法 132 10.2.1 增量学习 132 10.2.2 生成式半监督学习 132 10.2.3 半监督支持向量机 133 10.2.4 基于图的半监督学习 134 10.2.5 基于分歧的半监督学习 136 10.3 半监督聚类方法 136 本章小结 137 习题 138 参考文献 138 第11章 深度学习 139 11.1 深度学习简介 139 11.2 深度卷积神经网络 141 11.2.1 卷积层 141 11.2.2 非线性激活层 143 11.2.3 池化层 143 11.2.4 全连接层 144 11.3 受限玻耳兹曼机(RBM)与 深度信念网络(DBN) 146 11.3.1 玻耳兹曼机 146 11.3.2 受限玻耳兹曼机 147 11.3.3 深度信念网络 148 11.4 深度自编码器 151 11.4.1 欠完备自编码器 152 11.4.2 正则自编码器 153 11.4.3 自编码器的应用 154 11.5 循环神经网络(RNN)与 长短期记忆(LSTM)网络 155 11.5.1 循环神经网络 155 11.5.2 长短期记忆网络 157 本章小结 160 习题 161 参考文献 161 第12章 深度强化学习 165 12.1 任务与奖赏 166 12.2 多臂老虎机 167 12.2.1 守成与探索 167 12.2.2 多臂老虎机问题建模及 ε贪婪法 168 12.3 马尔可夫决策过程(MDP) 169 12.3.1 引入MDP的原因 169 12.3.2 MDP的价值函数 170 12.3.3 状态价值函数与动作价值函数的 关系 170 12.3.4 *优价值函数 171 12.4 动态规划 172 12.5 蒙特卡罗法 173 12.5.1 不基于模型的强化学习 173 12.5.2 预测问题 174 12.5.3 控制问题 174 本章小结 175 习题 175 参考文献 176 第13章 生成对抗网络 179 13.1 生成对抗网络简介 179 13.2 网络结构 180 13.3 训练过程 181 13.4 评价指标 182 13.4.1 Inception Score(IS) 183 13.4.2 Mode Score(MS) 183 13.4.3 Fréchet Inception Distance(FID) 184 13.5 训练生成对抗网络面临的 挑战 184 13.5.1 模式崩溃 184 13.5.2 不收敛和不稳定性 185 13.5.3 生成器梯度消失 185 13.6 生成对抗网络经典算法 185 13.6.1 InfoGAN 185 13.6.2 Conditional GAN(cGAN) 186 13.6.3 Deep Convolutional GAN(DCGAN) 188 13.7 生成对抗网络的应用 190 13.7.1 图像超分辨 190 13.7.2 人脸生成 192 13.7.3 纹理合成 192 13.7.4 视频领域的应用 192 13.7.5 应用于自然语言处理 193 本章小结 193 习题 193 参考文献 194 第14章 胶囊网络 195 14.1 胶囊网络简介 195 14.2 胶囊的定义 196 14.3 胶囊网络的结构 196 14.4 动态路由算法 198 14.5 胶囊网络的损失函数 200 14.5.1 编码器的损失函数 200 14.5.2 解码器的损失函数 200 14.6 胶囊网络典型算法 201 14.6.1 CapsuleGAN 201 14.6.2 DeepConvCapsule 202 14.6.3 Faster MSCapsNet 203 14.6.4 MSCapsNet 205 14.7 胶囊网络的应用 207 14.7.1 医学图像 207 14.7.2 关系抽取 208 14.7.3 对抗性攻击 208 本章小结 208 习题 209 参考文献 209 第15章 图卷积神经网络 211 15.1 符号的定义 212 15.2 图卷积和图池化的构建 213 15.2.1 图卷积的构建 213 15.2.2 图池化的构建 217 15.3 图卷积神经网络的训练 218 15.3.1 深层图卷积神经网络 218 15.3.2 大规模网络图卷积技术 219 15.3.3 半监督节点分类问题的 训练技术 220 15.4 图卷积神经网络的典型算法 220 15.4.1 半监督图卷积网络 220 15.4.2 HAGCN 222 15.4.3 GAT 224 15.5 图卷积神经网络的应用 225 15.5.1 网络分析 225 15.5.2 社区发现 225 15.5.3 推荐系统 225 15.5.4 交通预测 226 15.5.5 生物化学 227 15.5.6 计算机视觉 228 15.5.7 自然语言处理 229 15.6 图卷积神经网络的未来发展方向 229 15.6.1 深层的网络结构 229 15.6.2 大规模数据 230 15.6.3 多尺度的图上任务 230 15.6.4 动态变化的图数据 230 15.6.5 图神经网络的可解释性 230 本章小结 231 习题 231 参考文献 231 第16章 自监督学习 233 16.1 自监督学习概述 233 16.1.1 自监督学习背景 233 16.1.2 术语解释 235 16.1.3 自监督学习前置任务 235 16.1.4 自监督学习下游任务 238 16.1.5 自监督学习数据集 240 16.2 自监督学习方法 240 16.2.1 基于对比的自监督学习 240 16.2.2 基于上下文的自监督学习 245 16.2.3 基于时序的自监督学习 248 16.3 自监督学习的应用拓展 249 16.3.1 自监督学习辅助的知识蒸馏 249 16.3.2 自监督半监督学习 253 本章小结 255 习题 256 参考文献 256 第17章 迁移学习 259 17.1 迁移学习概述 259 17.1.1 迁移学习的历史 260 17.1.2 迁移学习的本质 261 17.2 迁移学习 262 17.2.1 基于实例的迁移学习 263 17.2.2 基于特征的迁移学习 264 17.2.3 基于参数的迁移学习 266 17.2.4 基于关系的迁移学习 267 17.3 深度迁移学习 269 17.3.1 基于网络的深度迁移学习 269 17.3.2 基于生成对抗网络的 深度迁移学习 272 17.4 迁移学习的应用 274 本章小结 277 习题 277 参考文献 278 第18章 自动机器学习 281 18.1 自动机器学习基础 281 18.1.1 初识自动机器学习 281 18.1.2 自动机器学习的构成 282 18.2 数据准备 283 18.2.1 数据收集 284 18.2.2 数据清理 284 18.2.3 数据增强 284 18.3 模型生成 285 18.3.1 传统模型 285 18.3.2 NAS 286 18.3.3 模型优化 293 18.4 模型评估 299 18.4.1 低保真 299 18.4.2 权重共享 300 18.4.3 代理模型 300 18.4.4 早停法 300 18.4.5 资源感知 300 18.5 经典NAS算法 301 18.5.1 NASNet 301 18.5.2 PNAS 303 18.5.3 DARTS 304 本章小结 306 习题 307 参考文献 307