深度学习必学的十个问题——理论与实践

第1章 作为机器学习模型的神经网络
1.1 表示学习
1.2 感知器与神经网络
1.3 使用keras
第2章 神经网络的训练
2.1 基于梯度的一阶优化
2.2 基于梯度的二阶优化
2.3 普通训练方法的局限
2.4 误差反向传播算法的本质
2.5 使用keras
第3章 神经网络的优化难题
3.1 局部极小值，鞍点和非凸优化
3.2 随机梯度下降的优势
3.3 梯度方向优化
3.4 动态调整学习率
3.5 使用keras
第4章 神经网络的过拟合
4.1 参数绑定和提前终止
4.2 数据增强和噪声添加
4.3 Dropout
4.4 使用keras
第5章 神经网络的神经单元
5.1 梯度消失和梯度爆炸
5.2 隐藏单元设计原则和sigmoid的非零中心
5.3 基于线性函数的改进和maxout单元
5.4 使用keras
第6章 神经网络的深度训练
6.1 预处理和批标准化
6.2 批标准化的不同视角：协变量偏差和协调更新
6.3 自归一化神经网络
6.4 ResNet
6.5 使用keras
第7章 卷积神经网络
7.1 局部连接和权重共享
7.2 卷积操作的重要概念
7.3 卷积核的参数学习
7.4 基于感受野的三个卷积技巧
7.5 使用keras
第8章 循环神经网络
8.1 理解循环结构
8.2 循环结构的参数学习
8.3 正交初始化和记忆容量
8.4 理解LSTM
8.5 使用keras
第9章 无监督表示学习：自编码器
9.1 自编码器
9.2 稀疏自编码器
9.3 收缩自编码器
9.4 使用keras
第10章 概率生成模型
10.1 变分自编码器
10.2 生成对抗网络
10.3 使用keras
参考文献