深度学习:丛神经网络到深度强化学习的演进

第1章 人工智能与深度学习概述 1.1 人工智能与机器学习 1.1.1 人工智能的发展历程 1.1.2 机器学习及深度学习的发展历程 1.1.3 人工智能与机器学习及深度学习的关系 1.2 机器学习的分类 1.2.1 监督学习 1.2.2 非监督学习 1.2.3 半监督学习 1.2.4 强化学习 1.2.5 其他分类方式 1.3 深度学习的分类及发展趋势 1.3.1 深度神经网络 1.3.2 卷积神经网络 1.3.3 其他深度神经网络 1.3.4 深度学习的发展趋势 1.4 深度学习与强化学习的结合 1.4.1 强化学习 1.4.2 强化学习算法分类 1.4.3 深度强化学习 本章小结 第2章 神经网络与深度学习 2.1 深度学习简介 2.1.1 传统机器学习算法与深度学习算法对比 2.1.2 深度学习发展历程 2.2 图像分类问题 2.2.1 KNN分类器 2.2.2 线性分类器 2.2.3 损失及优化 2.3 损失函数 2.3.1 折页损失函数 2.3.2 交叉熵损失函数 2.4 反向传播算法 2.4.1 计算图 2.4.2 反向传播举例 2.5 人工神经网络 2.5.1 神经网络的结构 2.5.2 神经网络的分类 2.6 激活函数 2.6.1 常用激活函数 2.6.2 各种激活函数的优缺点 本章小结 第3章 卷积神经网络 3.1 基本概念 3.1.1 卷积 3.1.2 池化 3.1.3 经典网络LeNet5 3.2 几种卷积神经网络介绍 3.2.1 AlexNet 3.2.2 VGGNet 3.2.3 NIN 3.2.4 GoogLeNet 3.2.5 ResNet 3.3 计算机视觉问题 3.3.1 图像分类 3.3.2 目标定位 3.3.3 目标检测 3.3.4 图像分割 3.4 深度学习应用实例 3.4.1 深度学习框架 3.4.2 MNIST手写数字识别 3.4.3 基于DeepLabV3 模型的轨道图像分割 本章小结 第4章 循环神经网络及其他深层神经网络 4.1 从DNN到RNN 4.1.1 RNN结构 4.1.2 深度 RNN 4.1.3 RNN的训练 4.2 RNN变体 4.2.1 LSTM 4.2.2 GRU 4.2.3 其他结构 4.3 RNN应用举例 4.3.1 时序数据预测 4.3.2 自然语言处理 4.4 自编码器 4.4.1 稀疏自编码器 4.4.2 去噪自编码器 4.4.3 压缩自编码器 4.5 深度生成式模型 4.5.1 全可见信念网络 4.5.2 变分自编码器 4.5.3 生成式对抗网络 本章小结 第5章 深层神经网络的训练方法 5.1 参数更新方法 5.1.1 梯度下降算法的问题 5.1.2 基于动量的更新 5.1.3 二阶优化方法 5.1.4 共轭梯度 5.1.5 拟牛顿法 5.2 自适应学习率算法 5.2.1 学习率衰减 5.2.2 AdaGrad算法 5.2.3 RMSProp算法 5.2.4 AdaDelta算法 5.2.5 Adam算法 5.2.6 几种常见优化算法的比较 5.3 参数初始化 5.3.1 合理初始化的重要性 5.3.2 随机初始化 5.3.3 Xavier初始化 5.3.4 He初始化 5.3.5 批量归一化 5.3.6 预训练 5.4 网络正则化 5.4.1 正则化的目的 5.4.2 L1和L2正则化 5.4.3 权重衰减 5.4.4 提前停止 5.4.5 数据增强 5.4.6 丢弃法 5.4.7 标签平滑 5.5 训练深层神经网络的小技巧 5.5.1 数据预处理 5.5.2 超参数调优 5.5.3 集成学习 5.5.4 监视训练过程 本章小结 第6章 轻量化神经网络模型 6.1 深度学习轻量化模型 6.1.1 SqueezeNet模型 6.1.2 MobileNet模型 6.1.3 ShuffleNet模型 6.1.4 Xception模型 6.2 深度神经网络模型压缩 6.2.1 推理阶段的压缩算法 6.2.2 训练阶段的压缩算法 6.3 深度神经网络的硬件加速 6.3.1 推理阶段的硬件加速 6.3.2 训练阶段的硬件加速 6.4 移动端深度学习 6.4.1 移动端深度学习概述 6.4.2 移动端深度学习框架 6.4.3 移动端深度学习示例 本章小结 第7章 强化学习算法 7.1 强化学习综述 7.1.1 目标、单步奖励与累积回报 7.1.2 马尔可夫决策过程 7.1.3 值函数与*优值函数 7.2 动态规划方法 7.2.1 策略迭代 7.2.2 值迭代 7.3 基于值函数的强化学习算法 7.3.1 基于蒙特卡罗的强化学习算法 7.3.2 基于时间差分的强化学习算法 7.3.3 TDλ算法 7.4 基于策略梯度的强化学习算法 7.4.1 何时应用基于策略的学习方法 7.4.2 策略梯度详解 7.4.3 蒙特卡罗策略梯度算法 7.4.4 ActorCritic算法 7.5 值函数近似和衍生算法 7.5.1 值函数近似 7.5.2 基于值函数近似的TD方法 7.5.3 基于线性值函数近似的GTD方法 7.5.4 OffPolicy ActorCritic算法 本章小结 第8章 多智能体多任务学习 8.1 多智能体学习 8.1.1 多智能体强化学习背景 8.1.2 多智能体强化学习任务分类及算法介绍 8.1.3 多智能体增强学习平台 8.2 多任务学习 8.2.1 多任务学习的背景与定义 8.2.2 多任务监督学习 8.2.3 其他多任务学习 8.2.4 多任务学习的应用 8.3 元学习 8.3.1 从模型评估中学习 8.3.2 从任务特征中学习 8.4 联邦学习 8.4.1 背景 8.4.2 联邦学习的特点及优势 8.4.3 联邦学习的分类 8.4.4 联邦学习的应用 本章小结 第9章 深度强化学习 9.1 基于值函数的深度强化学习 9.1.1 深度Q学习 9.1.2 深度Q学习的衍生方法 9.2 基于策略梯度的深度强化学习 9.2.1 深度确定性策略梯度算法 9.2.2 异步深度强化学习算法 9.2.3 信赖域策略优化及其衍生算法 9.3 深度强化学习的应用 9.3.1 计算机围棋程序AlphaGo 9.3.2 深度强化学习的其他应用 9.3.3 深度强化学习在通信网络中的应用 本章小结 第10章 迁移学习 10.1 迁移学习简介及分类 10.1.1 迁移学习概述 10.1.2 迁移学习的分类 10.2 迁移学习的应用 10.2.1 迁移学习在深度学习中的应用 10.2.2 迁移学习在强化学习中的应用 本章小结 附录A *近邻算法实现代码 附录B TensorFlow训练LeNet5网络实现代码 附录C 基于DeepLabv3 模型的轨道图像分割 附录D 时序数据预测实现代码 附录E 自然语言处理实现代码 附录F 移动端深度学习示例 参考文献