对偶学习

译者序
前言
致谢
第 1 章 绪论 1
1.1 引言 1
1.2 人工智能任务中的结构对偶性 3
1.3 对偶学习的划分 4
1.3.1 依照使用数据划分 4
1.3.2 依照对偶信号构造准则划分 4
1.4 全书总览 5
参考文献 6
第 2 章 机器学习基础 10
2.1 机器学习范式 10
2.1.1 有监督学习 11
2.1.2 无监督学习 12
2.1.3 强化学习 13
2.1.4 其他学习范式 14
2.2 机器学习算法核心组成部分 14
2.3 泛化和正则化 16
2.4 搭建机器学习模型 17
2.4.1 数据收集和特征工程 18
2.4.2 算法选择、模型训练、超参数调优 18
参考文献 19
第 3 章 深度学习基础 24
3.1 神经网络 24
3.2 卷积神经网络 27
3.3 序列建模 29
3.3.1 递归神经网络及其变种 30
3.3.2 编码器解码器架构 31
3.3.3 Transformer 网络 34
3.4 深度模型训练 36
3.4.1 随机梯度下降法 37
3.4.2 正则化 38
3.5 为什么选择深度神经网络 39
参考文献 41
第 4 章 对偶学习在机器翻译中的应用及拓展 48
4.1 机器翻译简介 48
4.1.1 神经机器翻译 49
4.1.2 回译技术 50
4.2 对偶重构准则 51
4.3 对偶半监督学习 52
4.4 对偶无监督学习 56
4.4.1 基本思想 56
4.4.2 系统架构和训练算法 57
4.5 多智能体对偶学习 60
4.5.1 模型架构 61
4.5.2 拓展和比较 62
4.5.3 多智能体对偶机器翻译 63
4.6 拓展 65
4.6.1 语义解析 65
4.6.2 文本风格迁移 66
4.6.3 对话 67
参考文献 68
第 5 章 对偶学习在图像翻译中的应用及拓展 72
5.1 简介 72
5.2 无监督图像翻译的基本思想 74
5.3 图像翻译 75
5.3.1 DualGAN 75
5.3.2 CycleGAN 77
5.3.3 DiscoGAN 80
5.4 细粒度图像翻译 80
5.4.1 细粒度图像翻译中的问题 81
5.4.2 条件 DualGAN 82
5.4.3 讨论 84
5.5 具有多路径一致性的多域图像翻译 84
5.6 拓展 86
5.6.1 人脸相关任务 86
5.6.2 视觉语言任务 87
5.6.3 其他图像相关任务 88
参考文献 88
第 6 章 对偶学习在语音处理中的应用及拓展 93
6.1 神经语音合成和识别 93
6.2 语音链的对偶学习 94
6.3 低资源语音处理的对偶学习 97
6.3.1 使用双向序列建模的去噪自编码 97
6.3.2 使用双向序列建模的对偶重构 99
6.3.3 模型训练 100
6.4 极低资源语音处理的对偶学习 101
6.4.1 预训练和微调 103
6.4.2 对偶重构 103
6.4.3 知识蒸馏 104
6.4.4 LRSpeech 的性能 105
6.5 非母语语音识别的对偶学习 106
6.5.1 非母语语音识别的难点 106
6.5.2 基于对偶重构准则的方法 106
6.6 拓展 108
参考文献 109
第 7 章 对偶有监督学习 114
7.1 联合概率准则 114
7.2 对偶有监督学习算法 115
7.3 应用 117
7.3.1 神经机器翻译 117
7.3.2 图像分类和生成 118
7.3.3 情感分析 119
7.3.4 问题回答和问题生成 120
7.3.5 代码摘要和代码生成 121
7.3.6 自然语言理解和生成 125
7.4 理论分析 126
参考文献 127
第 8 章 对偶推断 131
8.1 基本架构 131
8.2 应用 133
8.3 理论分析 134
参考文献 136
第 9 章 基于边缘概率的对偶半监督学习 138
9.1 边缘概率的高效估计 138
9.2 以边缘概率为约束 140
9.3 无标数据的似然*大化 141
9.4 讨论 143
参考文献 144
第 10 章 对偶重构的理论解读 148
10.1 概述 148
10.2 对偶重构准则在无监督学习中的解读 149
10.2.1 对偶无监督映射的建模 149
10.2.2 存在的问题和简单性假设 151
10.2.3 *小复杂度 152
10.3 对偶重构准则在半监督学习中的解读 154
10.3.1 算法和符号说明 155
10.3.2 双语翻译 156
10.3.3 多域对偶学习 160
参考文献 161
第 11 章 对偶学习和其他学习范式的联系 164
11.1 对偶半监督学习和协同训练 164
11.2 对偶学习和多任务学习 166
11.3 对偶学习、GAN 和自编码器 166
11.4 对偶有监督学习和贝叶斯阴阳学习 167
11.5 对偶重构及相关概念 168
参考文献 169
第 12 章 总结和展望 174
12.1 总结 174
12.2 未来研究方向 175
12.2.1 更多的学习环境和应用 175
12.2.2 提升训练效率 177
12.2.3 理论研究 178
参考文献 178