深度学习

第1章 绪论 1 1.1 深度学习的兴起 1 1.2 什么是深度学习 2 1.3 为什么采用深度学习 7 1.4 深度学习的应用 7 1.4.1 计算机视觉 7 1.4.2 语音识别 10 1.4.3 自然语言处理 11 习题 12 第2章 深度学习的基础知识 13 2.1 泛化误差 13 2.1.1 点估计 13 2.1.2 偏差和方差 14 2.2 神经网络结构 16 2.2.1 神经元 16 2.2.2 激活函数 17 2.2.3 隐藏单元 19 2.2.4 输出单元 20 2.2.5 架构设计 20 2.3 数据准备 20 2.3.1 噪声注入 21 2.3.2 数据扩充 21 2.4 超参数与验证集 22 2.5 规模与特征工程 23 2.5.1 规模 23 2.5.2 特征工程 23 2.6 损失函数 25 2.7 模型训练中的问题 28 习题 30 第3章 深度学习的基本算法 31 3.1 经典算法 31 3.1.1 监督学习 31 3.1.2 无监督学习 36 3.1.3 半监督学习 37 3.1.4 强化学习 39 3.2 梯度下降算法 40 3.2.1 梯度下降原理 40 3.2.2 随机梯度下降算法 41 3.2.3 批量梯度下降算法 42 3.2.4 小批量梯度下降算法 42 3.3 动量算法 43 3.3.1 动量 43 3.3.2 Nesterov 动量算法 45 3.4 反向传播算法 46 3.4.1 前馈神经网络 46 3.4.2 反向传播算法 47 3.4.3 反向传播算法实例 50 3.5 弱监督学习 53 3.5.1 不完全监督学习 53 3.5.2 不确切监督学习 54 3.5.3 不准确监督学习 55 3.6 迁移学习 56 3.6.1 迁移学习的相关定义 56 3.6.2 迁移学习的分类 57 3.6.3 知识蒸馏 65 3.7 小样本学习 67 3.7.1 基于finetune的小样本学习 69 3.7.2 基于metric的小样本学习 70 3.7.3 基于图神经网络的小样本学习 70 3.7.4 基于元学习的小样本学习 71 习题 76 第4章 深度学习中的正则化 77 4.1 参数范数惩罚 77 4.1.1 L2参数正则化 77 4.1.2 L1参数正则化 79 4.2 参数绑定与参数共享 80 4.3 稀疏表征 81 4.3.1 稀疏表示 81 4.3.2 稀疏模型 82 4.4 提前终止 83 4.5 Bagging 84 4.6 Dropout 84 4.6.1 Dropout的工作流程 84 4.6.2 Dropout在神经网络中的使用 85 习题 86 第5章 深度卷积神经网络 87 5.1 卷积神经网络的生物机理 87 5.2 卷积神经网络的原理和结构 87 5.3 卷积层 88 5.3.1 卷积 88 5.3.2 卷积的变种 90 5.3.3 卷积层的输出 93 5.4 池化层 95 5.5 非线性映射层 96 5.6 空间批量归一化 96 5.7 全连接层 98 5.8 典型的卷积神经网络 98 5.8.1 LeNet5网络 98 5.8.2 AlexNet网络 100 5.8.3 Inception网络 102 5.8.4 ResNet网络 105 5.8.5 RCNN网络 108 5.8.6 YOLO网络 109 5.9 全卷积神经网络 110 5.9.1 UNet网络 110 5.9.2 SegNet网络 112 习题 113 第6章 深度循环神经网络 114 6.1 简单循环神经网络 114 6.1.1 简单循环神经网络的结构 114 6.1.2 简单循环神经网络的训练 116 6.2 双向循环神经网络 120 6.3 深度循环网络的结构 122 6.4 解码编码网络的结构 123 6.5 门控循环神经网络 124 6.5.1 门控循环神经网络的结构框架 124 6.5.2 门控结构单元 125 6.5.3 门控神经网络的改进 127 6.6 递归神经网络 129 6.6.1 递归神经网络的结构 129 6.6.2 递归神经网络的前向计算 130 6.6.3 递归神经网络的应用 131 6.7 注意力机制 132 6.7.1 注意力机制的原理 132 6.7.2 transformer的架构 136 6.7.3 transformer的应用 141 6.7.4 计算机视觉的注意力机制 141 习题 144 第7章 深度生成式对抗网络 145 7.1 生成式对抗网络的基本原理 145 7.2 生成式对抗网络的设计 146 7.3 生成式对抗网络的改进 148 7.3.1 WGAN 148 7.3.2 LSGAN 150 7.4 生成式对抗网络在图像中的应用 150 习题 152 第8章 自编码器 153 8.1 欠完备自编码器 153 8.2 正则自编码器 154 8.2.1 稀疏自编码器 154 8.2.2 去噪自编码器 155 8.3 随机自编码器 157 8.4 深度自编码器 157 8.5 变分自编码器 158 习题 161 第9章 深度信念网络 162 9.1 Boltzmann机 162 9.1.1 Boltzmann机的模型 162 9.1.2 Boltzmann机的状态更新算法 162 9.2 受限Boltzmann机 163 9.2.1 受限Boltzmann机的学习目标 164 9.2.2 受限Boltzmann机的学习方法 164 9.3 深度信念网络 165 9.3.1 深度信念网络的设计 165 9.3.2 深度信念网络的参数学习 167 习题 168 第10章 胶囊网络 169 10.1 胶囊网络的基本概念 169 10.2 胶囊网络的工作原理 170 10.2.1 胶囊网络的核心思想 170 10.2.2 胶囊网络的工作过程 170 10.2.3 囊间动态路由算法 172 10.3 胶囊网络的典型应用 173 习题 174 附录 175 附录A 深度学习常用的工具 175 附录B 深度学习常用的开放数据集 177 参考文献 180