视觉语言交互中的视觉推理研究

第1章 引言
1.1 研究背景 1
1.2 研究现状 5
1.2.1 指称语理解 6
1.2.2 视觉对话 8
1.2.3 视觉问答 11
1.3 研究内容与贡献 14
1.4 组织结构 17
第2章 单轮交互情形下的指称语理解
2.1 研究概述 20
2.2 相关工作 23
2.3 变分背景框架 26
2.3.1 问题表述 26
2.3.2 指称语理解 29
2.3.3 指称语生成 31
2.3.4 模型实现 32
2.4 实验结果 40
2.4.1 实验设置 40
2.4.2 指称语理解实验结果 44
2.4.3 指称语生成实验结果 55
2.5 小结 57
第3章 多轮交互情形下的视觉对话
3.1 研究概述 60
3.2 相关工作 64
3.3 预备知识 66
3.4 递归视觉注意力模型 66
3.4.1 判别模块 68
3.4.2 匹配模块 69
3.4.3 注意力模块 72
3.5 其他模块 73
3.5.1 语言特征表示 73
3.5.2 视觉特征表示 75
3.5.3 特征优化与融合 76
3.5.4 非线性映射 78
3.5.5 Gumbel离散采样 79
3.6 实验结果 80
3.6.1 实验设置 80
3.6.2 实现细节 82
3.6.3 对比方法 82
3.6.4 实验结果分析 85
3.7 小结 93
第4章 知识偏差情形下的视觉问答
4.1 研究概述 96
4.2 相关工作 101
4.3 预备知识 104
4.3.1 因果图 105
4.3.2 反事实表示 105
4.3.3 因果效应 106
4.4 基于简化因果图的反事实视觉问答 107
4.4.1 反事实视觉问答框架 108
4.4.2 技术实现 110
4.5 基于完全因果图的反事实视觉问答 115
4.5.1 反事实视觉问答框架 115
4.5.2 技术实现 116
4.6 实现细节 119
4.7 实验结果 120
4.7.1 实验设置 120
4.7.2 简化因果图实验结果 122
4.7.3 完全因果图实验结果 134
4.8 小结 137
第5章 总结与展望
5.1 创新总结 139
5.2 未来工作展望 141
5.2.1 视觉推理任务 142
5.2.2 知识建模 142
5.2.3 知识偏差 143