深度学习(下)

目录
前言
9 深度置信网络和深度玻尔兹曼机 1
9.1 深度置信网络和深度玻尔兹曼机的起源 1
9.1.1 玻尔兹曼机 1
9.1.2 受限玻尔兹曼机 2
9.2 模型参数学习 7
9.2.1 吉布斯采样 7
9.2.2 对比散列算法 7
9.3 深度置信网络 9
9.3.1 深度置信网络模型 9
9.3.2 深度置信网络训练 10
9.4 深度玻尔兹曼机 11
9.4.1 深度玻尔兹曼机模型 11
9.4.2 深度玻尔兹曼机参数学习 13
9.5 深度置信网络和深度玻尔兹曼机的应用 15
9.5.1 深度置信网络的应用 15
9.5.2 深度玻尔兹曼机的应用 17
9.6 阅读材料 28
参考文献 29
10 自编码器 31
10.1 自编码器介绍 31
10.1.1 自编码器的结构 31
10.1.2 自编码器的训练 33
10.2 深度自编码器 34
10.3 自编码器的变形 36
10.3.1 稀疏自编码器 36
10.3.2 降噪自编码器 37
10.3.3 收缩自编码器 38
10.3.4 掩码自编码器 39
10.3.5 其他自编码器 42
10.4 变分自编码器 42
10.4.1 变分推断 42
10.4.2 详解变分自编码器 45
10.5 变分自编码器的变形 50
10.5.1 半监督变分自编码器 50
10.5.2 反向自回归流变分自编码器 54
10.5.3 信息*大化变分自编码器 56
10.5.4 *大均值差异变分自编码器 58
10.5.5 向量量化变分自编码器 59
10.5.6 降噪变分自编码器 62
10.5.7 梯形变分自编码器 64
10.6 变分自编码器的应用 68
10.6.1 机器翻译 68
10.6.2 文本分类 72
10.7 阅读材料 76
参考文献 76
11 生成对抗网络 79
11.1 原始生成对抗网络 79
11.1.1 生成对抗网络的基本结构 79
11.1.2 深入理解生成对抗网络 82
11.1.3 原始生成对抗网络中的问题 95
11.2 生成对抗网络的发展 96
11.2.1 深度卷积生成对抗网络 96
11.2.2 基于Wasserstein距离的生成对抗网络 97
11.2.3 加罚项的基于Wasserstein距离的生成对抗网络 102
11.2.4 带有一致化项的生成对抗网络 104
11.2.5 损失敏感的生成对抗网络 106
11.2.6 信息*大化生成对抗网络 110
11.3 生成对抗网络的训练 112
11.3.1 训练生成对抗网络的问题与发展 113
11.3.2 训练生成对抗网络的一些技巧 115
11.3.3 渐进增大方式训练生成对抗网络 116
11.3.4 生成对抗网络的谱归一化 118
11.3.5 通过原始-对偶次梯度方法训练生成对抗网络 121
11.3.6 用优化镜像下降的方法训练生成对抗网络 123
11.3.7 一阶惩罚生成对抗网络 125
11.4 深度生成模型的联合模型 126
11.4.1 对抗变分贝叶斯方法 127
11.4.2 建立深度生成模型之间的原则性联系 133
11.4.3 对抗自编码器 140
11.4.4 Wasserstein自编码器 144
11.5 *优传输理论与生成对抗网络 147
11.5.1 从*优传输理论到生成模型 147
11.5.2 利用*优传输理论改善生成对抗网络 150
11.6 生成对抗网络的评估 152
11.6.1 几何评分：一种比较样本的方法 153
11.6.2 调节生成器对生成对抗网络性能的影响 156
11.7 生成对抗网络的其他模型 157
11.8 生成对抗网络的应用 160
11.8.1 图像的生成与操作 160
11.8.2 文本 172
11.9 早期的对抗模型 175
11.10 生成对抗网络的总结 177
11.11 阅读材料 179
参考文献 180
12 像素级生成模型 184
12.1 PixelCNN 184
12.1.1 PixelCNN介绍 184
12.1.2 mask卷积 185
12.1.3 盲点问题 186
12.2 PixelRNN 188
12.2.1 行LSTM PixelRNN 188
12.2.2 对角线BiLSTM PixelRNN 189
12.3 门PixelCNN 192
12.4 条件PixelCNN 193
12.5 PixelVAE 194
12.6 PixelGAN 195
12.7 阅读材料 197
参考文献 197
13 深度聚类 198
13.1 聚类概述 198
13.1.1 传统聚类与深度聚类之间的关系 198
13.1.2 深度聚类模型结构 199
13.1.3 深度聚类损失函数 199
13.1.4 簇的更新策略 201
13.2 深度嵌入聚类算法 202
13.2.1 自编码器与聚类结合 202
13.2.2 变分自编码器与聚类的结合 207
13.2.3 梯子网络与聚类的结合 210
13.2.4 卷积神经网络与聚类的结合 213
13.3 深度谱聚类 217
13.4 深度子空间聚类 220
13.5 阅读材料 224
参考文献 225
14 深度强化学习 230
14.1 基于值函数的深度强化学习 230
14.1.1 深度Q网络 231
14.1.2 双重深度Q网络 238
14.1.3 优先化经验回放的深度Q网络 241
14.1.4 基于竞争网络架构的深度Q网络 243
14.2 基于策略搜索的深度强化学习 246
14.2.1 深度确定性策略梯度算法 246
14.2.2 异步的优势行动者-评论家算法 250
14.3 基于模型的深度强化学习 252
14.3.1 AlphaGo发展史 253
14.3.2 AlphaGo原理介绍 255
14.4 深度强化学习的应用 264
14.5 深度强化学习的未来 266
14.6 阅读材料 269
参考文献 269
15 深度学习的可解释性 272
15.1 可解释性概述 272
15.1.1 什么是可解释性 273
15.1.2 可解释的必要性 273
15.1.3 可解释性研究进展 274
15.2 可视化 277
15.2.1 可视化方法分类 277
15.2.2 特征可视化 278
15.2.3 关系可视化 289
15.2.4 过程可视化 297
15.3 深度学习内部工作机制探查 300
15.3.1 局部可解释模型 300
15.3.2 关系反向传播 304
15.3.3 决策树量化解释 311
15.3.4 信息论的角度解释模型 317
15.4 深度学习工作机制理论分析 321
15.4.1 基于统计的分析 321
15.4.2 基于信息论的分析 327
15.4.3 基于认知科学的分析 342
15.5 阅读材料 347
参考文献 348
16 对抗样本攻防和深度学习的鲁棒性 355
16.1 深度神经网络的脆弱性 355
16.2 对抗样本攻击 357
16.2.1 攻击策略 357
16.2.2 对抗样本的产生 373
16.2.3 对抗样本的迁移 380
16.3 对抗攻击的检测与防御 383
16.3.1 对抗样本的检测 383
16.3.2 对抗攻击的防御 385
16.4 深度神经网络的鲁棒性 391
16.4.1 分类器的鲁棒性 391
16.4.2 Parseval网络 399
16.4.3 评估神经网络的鲁棒性 400
16.4.4 为深度神经网络提供可保证的鲁棒性 403
16.5 深度学习测试 405
16.5.1 白盒测试 405
16.5.2 黑盒测试 414
16.6 深度学习验证 422
16.6.1 可满足性模理论 423
16.6.2 线性实数算法和单纯形 424
16.6.3 从Simplex到Reluplex 425
16.6.4 有效实施Reluplex 428
16.6.5 案例研究：ACASXu系统 429
16.7 阅读材料 431
参考文献 432