深度学习简明教程

第1章 绪论 1 1.1 人工智能 1 1.1.1 人工智能 1 1.1.2 人工神经网络与人工智能的区别 8 1.1.3 人工神经网络与人工智能的互补性 9 1.2 机器学习 10 1.2.1 **次研究高潮 10 1.2.2 第二次研究高潮 15 1.2.3 神经网络: *近30年 18 1.3 深度学习 23 本章参考文献 23 第2章 神经网络基础 26 2.1 神经元 26 2.1.1 生物神经元 26 2.1.2 McCullochPitts神经元 27 2.2 卷积层 33 2.3 池化层 36 2.4 正则化 38 2.5 梯度下降法 38 2.5.1 线性单元的梯度下降法 38 2.5.2 随机梯度下降法 41 本章参考文献 42 第3章 反向传播算法 43 3.1 反向传播机制 43 3.2 反向传播算法性能分析 47 3.3 改进的反向传播算法 48 3.3.1 带动量项自适应变步长BP算法(ABPM) 48 3.3.2 同伦BP算法(HBP) 49 3.3.3 LMBP算法 49 3.4 反向传播算法实现的几点说明 50 本章参考文献 51 第4章 卷积神经网络(一) 52 4.1 结构和学习算法 52 4.1.1 卷积神经网络的结构 52 4.1.2 卷积神经网络的学习算法 54 4.2 两种经典的卷积神经网络 55 4.2.1 LeNet 55 4.2.2 AlexNet 56 4.3 案例与实践 57 4.3.1 图像语义分割 57 4.3.2 目标检测 59 4.3.3 目标跟踪 61 本章参考文献 63 第5章 卷积神经网络(二) 64 5.1 卷积神经网络的结构和原理 64 5.1.1 卷积运算 64 5.1.2 池化操作 65 5.1.3 激活函数 66 5.1.4 损失函数 66 5.2 几种经典的深度卷积神经网络 66 5.2.1 VGG 66 5.2.2 GoogLeNet 68 5.3 案例与实践 71 5.3.1 图像分类 71 5.3.2 图像分割 72 5.3.3 目标检测 73 本章参考文献 76 第6章 自编码网络 77 6.1 自编码网络的结构 77 6.2 自编码网络的原理 78 6.3 几种经典的自编码网络 79 6.3.1 稀疏自编码(SAE) 79 6.3.2 收缩自编码(CAE) 80 6.3.3 栈式自编码(SA) 81 6.4 案例与实践 82 6.4.1 图像分类 82 6.4.2 目标检测 84 6.4.3 目标跟踪 86 本章参考文献 87 第7章 Hopfield神经网络 89 7.1 Hopfield神经网络的结构 89 7.2 Hopfield反馈神经网络的原理 91 7.3 Hopfield反馈神经网络的非线性动力学 95 7.3.1 状态轨迹为网络的稳定点 96 7.3.2 状态轨迹为极限环 97 7.3.3 状态轨迹为混沌状态 98 7.3.4 状态轨迹发散 98 7.4 案例与实践 98 7.4.1 TSP问题 98 7.4.2 图像分割 100 7.4.3 人脸识别 101 本章参考文献 104 第8章 循环神经网络 106 8.1 循环神经网络的结构 106 8.2 循环神经网络的原理 108 8.3 几种经典的循环神经网络 109 8.3.1 长短时记忆网络(LSTM) 109 8.3.2 双向循环神经网络(BiRNN) 110 8.3.3 深度双向循环神经网络(Deep BiRNN) 111 8.4 案例与实践 112 8.4.1 自动问答 112 8.4.2 文本摘要生成 114 8.4.3 目标跟踪 117 本章参考文献 119 第9章 残差网络 121 9.1 结构和原理 121 9.1.1 残差网络的结构 121 9.1.2 残差网络的原理 123 9.2 几种经典的残差网络 124 9.2.1 宽剩余网络 124 9.2.2 深度残差金字塔网络 127 9.2.3 空洞残差网络 131 9.3 案例与实践 133 9.3.1 图像分类 133 9.3.2 图像分割 135 9.3.3 目标检测 138 本章参考文献 139 第10章 生成式对抗网络 141 10.1 结构和原理 141 10.1.1 生成式对抗网络的原理 141 10.1.2 生成式对抗网络的结构 141 10.2 几种经典的生成式对抗网络 145 10.2.1 信息*大化生成对抗网络(InfoGAN) 145 10.2.2 条件生成对抗网络(CGAN) 146 10.2.3 深度卷积生成对抗网络(DCGAN) 146 10.2.4 循环一致性生成对抗网络(CycleGAN) 147 10.3 案例与实践 149 10.3.1 数据增强 149 10.3.2 图像补全(修复) 150 10.3.3 文本翻译成图像 152 本章参考文献 154 第11章 深度强化学习 156 11.1 结构和原理 156 11.1.1 深度强化学习的结构 156 11.1.2 深度强化学习的原理 157 11.2 几种经典的深度强化学习网络 160 11.2.1 基于卷积神经网络的深度强化学习 160 11.2.2 基于递归神经网络的深度强化学习 162 11.3 案例与实践 164 11.3.1 玩Atari游戏 164 11.3.2 目标检测 165 11.3.3 目标跟踪 167 本章参考文献 171 第12章 图神经网络 172 12.1 结构和原理 172 12.1.1 图神经网络的结构 172 12.1.2 图神经网络的原理 173 12.2 几种经典的图神经网络 176 12.2.1 基于空间域的图卷积神经网络 177 12.2.2 基于谱域的图卷积神经网络 181 12.2.3 图注意力网络 182 12.3 案例与实践 184 12.3.1 图像分类 184 12.3.2 目标检测 187 12.3.3 语义分割 190 本章参考文献 191 第13章 多尺度深度几何网络 194 13.1 多尺度分析 194 13.1.1 小波神经网络 195 13.1.2 多小波网络 196 13.2 多尺度几何网络 201 13.2.1 方向多分辨脊波网络 202 13.2.2 深度曲线波散射网络 209 13.2.3 轮廓波卷积神经网络 211 13.3 案例与实践 213 13.3.1 极化SAR图像分类 213 13.3.2 SAR图像目标检测 216 本章参考文献 218 第14章 Transformer网络 221 14.1 Transformer基础知识 221 14.1.1 Transformer的介绍 221 14.1.2 Transformer的结构和原理 221 14.2 常见的Transformer变体 225 14.2.1 基于模型架构的改进 226 14.2.2 基于其他模块级的改进 227 14.3 案例与实践 228 14.3.1 图像分类 228 14.3.2 图像分割 229 14.3.3 目标检测 232 本章参考文献 233 第15章 深度学习实验平台 235 15.1 Pytorch 235 15.1.1 平台介绍与应用优势 235 15.1.2 常用的工具包 236 15.1.3 编码实例 236 15.2 Tensorflow 239 15.2.1 平台介绍与应用优势 239 15.2.2 编码实例 240 15.2.3 Keras API接口实例 242 第16章 总结与展望 244 16.1 深度学习的发展历程 244 16.2 深度学习的未来方向 246 本章参考文献 247