深度学习入门

目 录

译者序

原书序

原书前言

第1章 绪论 1

第2章 机器学习与深度学习 3

2.1 为什么要进行深度学习 3

2.2 什么是机器学习 4

2.2.1 典型任务 4

2.2.2 形式各异的数据集 5

2.3 统计学基础 6

2.3.1 样本和估计 7

2.3.2 点估计 8

2.3.3 极大似然估计 11

2.4 机器学习基础 12

2.5 特征学习与深度学习的进展 23

2.5.1 特征学习 23

2.5.2 深度学习的出现 24

第3章 神经网络 26

3.1 神经细胞网络 26

3.2 形式神经元 27

3.3 感知器 29

3.3.1 由形式神经元到感知器 29

3.3.2 感知器与马文·明斯基 （Marvin Lee Minsky） 30

3.4 顺序传播神经网络的组成 31

3.5 神经网络的机器学习 35

3.5.1 回归 35

3.5.2 二元分类 36

3.5.3 多元分类 37

3.6 激活函数 37

3.6.1 sigmoid函数及其变体 38

3.6.2 正则化线性函数 38

3.6.3 maxout 39

3.7 为什么深度学习是重要的 40

第4章 基于梯度下降法的机器学习

41 4.1 梯度下降法 41

4.2 改进的梯度下降法 46

4.2.1 梯度下降法的问题 46

4.3 权重参数初始值的选取方法 53

4.4 训练预处理 55

4.4.1 数据的规格化 55

4.4.2 数据的白化 55

4.4.3 图像数据的局部对比度

第5章 深度学习的正则化 59

5.1 泛化性能与正则化 59

5.1.1 泛化误差与过度学习 59

5.1.2 正则化 61

5.2 权重衰减 62

5.3 早期终止 63

5.4 权重共享 65

5.5 数据扩增与噪声注入 65

5.6 bagging算法 66

5.7 dropout 67

5.8 深度表示的稀疏化 72

5.9 批量规格化 72

5.9.1 内部协变量移位 72

5.9.2 批量规格化 73

第6章 误差反向传播法 74

6.1 Perceptron（感知器）和delta 学习规则 74

6.2 误差反向传播法 76

6.3 误差反向传播法的梯度快速 计算 82

6.4 梯度消失与参数爆炸及其 对策 84

6.4.1 预学习 85

6.4.2 ReLU函数 85

第7章 自编码器 87

7.1 数据压缩与主成分分析 87

7.2 自编码器基础及应用 90

7.3 稀疏自编码器 93

7.4 堆栈式自编码器及预学习 97

7.5 降噪自编码器 98

7.6 压缩式自编码器 99

7.6.1 压缩式自编码器流形学习 99

7.6.2 与其他自编码器的关系 100

第8章 卷积神经网络 101

8.1 一次视觉功能和卷积 101

8.1.1 黑贝尔和威杰尔的层假说 101

8.1.2 神经网络与卷积

8.2 卷积神经网络 104

8.3 CNN的误差反向传播法 112

8.4 完成学习的模型和迁移学习 114

8.5 CNN会捕捉到哪些模式 114

8.6 反卷积网络 * 115

8.7 Inception组件 * 116

第9章 循环神经网络 117

9.1 时间序列数据 117

9.2 循环神经网络 118

9.3 机器翻译的应用 123

9.4 RNN的问题 123

9.5 长短时记忆 124

9.6 循环神经网络与自然语言的 处理 * 130

第10章 玻尔兹曼机 133

10.1 图模型与概率推论 133

10.1.1 有向图模型 * 133

10.1.2 无向图模型 * 136

10.2 有/无隐性变量的玻尔 兹曼机 139

10.3 玻尔兹曼机的学习及计算量的 爆发 142

10.4 吉布斯采样和玻尔兹曼机 150

10.5 平均场近似 159

10.6 受限玻尔兹曼机 162

10.7 对比散度法及其理论 167

10.8 深度信念网络 175

10.9 深度玻尔兹曼机 181

第11章 深度强化学习 188

11.1 强化学习 188

11.2 近似函数与深度Q网络 197

11.2.1 Q学习与近似函数 197

11.2.2 深度Q学习 199

11.3 雅达利游戏和DQN 201

11.4 策略学习 203

11.4.1 基于梯度上升法的策略学习

11.4.2 策略梯度定理的证明

11.5 AlphaGo 205

附录 210 附录A 概率基础 210

A.1 随机变量和概率分布 210

A.2 连续随机变量和概率密度函数 212

A.3 期望值与方差 214

A.4 信息量与散度 215

附录B 变分法 217

B.1 泛函数 217

B.2 欧拉·拉格朗日方程式

217 参考文献 219