面向共融机器人的自然交互——多模态交互信息的情感分析

**篇概述

第1章多模态情感分析概述3

1.1多模态情感分析相关研究概述3

1.2模态缺失相关研究概述6

1.3本章小结7

第2章多模态机器学习概述8

2.1多模态表示学习概述8

2.1.1联合型表示学习9

2.1.2协同型表示学习9

2.2多模态表示融合概述10

2.2.1前期融合10

2.2.2中期融合10

2.2.3后期融合11

2.2.4末期融合11

2.3本章小结11

第3章多任务学习机制概述13

3.1在计算机视觉中的多任务架构13

3.2在自然语言处理中的多任务架构14

3.3在多模态学习中的多任务架构16

3.4本章小结18目录 面向共融机器人的自然交互——多模态交互信息的情感分析

第二篇多模态情感分析数据集与预处理

第4章多模态情感分析数据集简介23

4.1CMUMOSI24

4.2CMUMOSEI24

4.3IEMOCAP24

4.4MELD25

4.5本章小结25

第5章多模态多标签情感分析数据集构建26

5.1概述26

5.2多模态多标签的中文情感分析数据集制作26

5.2.1数据收集和标注26

5.2.2统计和分析28

5.3本章小结29

第6章基于主动学习的多模态情感分析数据的自动标定30

6.1相关工作30

6.1.1数据标注30

6.1.2主动学习31

6.2研究方法35

6.2.1整体结构介绍36

6.2.2MMAL模块介绍38

6.2.3半监督学习模块40

6.3实验设置40

6.3.1实验参数和评价标准40

6.3.2基线模型选择41

6.4结果分析42

6.4.1主动学习方法效果分析42

6.4.2半监督主动学习方法效果分析44

6.4.3消融实验46

6.5本章小结47

第三篇单模态信息的情感分析

第7章基于文本的情感分析51

7.1基于情感词典的情感分析方法52

7.2基于深度学习的情感分析方法53

7.2.1单一神经网络的情感分析53

7.2.2混合神经网络的情感分析53

7.2.3引入注意力机制的情感分析54

7.2.4使用预训练模型的情感分析54

7.3本章小结55

第8章基于语音信息的情感分析56

8.1基于ConstantQ色谱图的音频情感分类56

8.1.1ConstantQ色谱图抽取58

8.1.2CRLA模型59

8.1.3特征抽取网络59

8.1.4上下文表征学习59

8.1.5实验与分析60

8.2基于异构特征融合的音频情感分类63

8.2.1频谱特征抽取64

8.2.2统计特征抽取66

8.2.3CHFFM66

8.2.4CSFM67

8.2.5实验与分析68

8.3本章小结71

第9章基于人脸关键点的图片情感分析72

9.1CMCNN73

9.1.1设计思想73

9.1.2模型整体框图74

9.1.3CCAM75

9.1.4SCAM76

9.1.5多任务优化目标77

9.2实验设置77

9.2.1基准数据集77

9.2.2数据预处理78

9.2.3基线方法79

9.2.4评价指标79

9.2.5训练策略和参数设置80

9.3实验结果和分析80

9.3.1与基线方法的结果对比80

9.3.2迁移效果验证82

9.3.3特征可视化83

9.3.4模块化分析84

9.4本章小结85

第四篇跨模态信息的情感分析

第10章跨模态特征表示方法89

10.1文本模态特征表示方法90

10.2音频模态特征表示方法91

10.2.1格式转换92

10.2.2特征工程92

10.2.3数据对齐93

10.2.4高阶特征提取94

10.2.5融合特征95

10.3实验与分析97

10.3.1数据集和评价指标97

10.3.2实验设置98

10.3.3实验结果98

10.4不足和展望100

10.5本章小结100

第11章基于多层次信息互补的融合方法101

11.1方法102

11.1.1模态表示模块102

11.1.2模态相似度和情绪识别多任务105

11.2实验与分析106

11.2.1数据集106

11.2.2数据预处理106

11.2.3评价指标107

11.2.4训练细节和参数设置107

11.2.5对比基线108

11.2.6实验分析108

11.3不足与展望111

11.4本章小结112

第12章生成式多任务网络的情绪识别113

12.1方法115

12.1.1情绪多任务网络115

12.1.2生成式多任务模块116

12.2实验与分析117

12.2.1数据集117

12.2.2数据预处理118

12.2.3基线模型119

12.2.4评价指标以及重要参数设置119

12.2.5情绪分类实验结果119

12.2.6实验分析121

12.3不足与展望122

12.4本章小结122

第13章面向非对齐序列的跨模态情感分类124

13.1SAFRLM125

13.1.1多模态对齐模块126

13.1.2融合表示初始化模块126

13.1.3自调节模块127

13.2实验与分析128

13.2.1数据集及实验设置129

13.2.2单模态特征抽取及评价指标129

13.2.3基线模型129

13.2.4跨模态情感分类实验结果130

13.2.5Crossmodal block的数目对实验的影响131

13.2.6定性分析132

13.3不足与展望133

13.4本章小结133

第14章面向对齐序列的跨模态情感分类134

14.1问题定义135

14.2音频特征抽取与对齐135

14.3CMBERT模型135

14.3.1预训练BERT模型136

14.3.2时序卷积层137

14.3.3Masked Multimodal Attention137

14.4实验与分析139

14.4.1数据集和评价指标139

14.4.2实验设置139

14.4.3跨模态情感分类实验结果139

14.4.4注意力机制可视化分析141

14.5不足与展望143

14.6本章小结143

第五篇多模态信息的情感分析

第15章基于多任务学习的多模态情感分析模型147

15.1基于多任务学习的多模态情感分析模型概述148

15.1.1模型总体设计148

15.1.2单模态表示学习网络149

15.1.3表示融合和分类150

15.1.4多任务优化目标151

15.2实验设置和结果分析151

15.2.1实验设置151

15.2.2结果与分析152

15.3本章小结156

第16章基于自监督学习的多任务多模态情感分析模型157

16.1基于自监督学习的单模态伪标签生成模型157

16.1.1模型总体设计157

16.1.2ULGM159

16.1.3自适应的多任务损失函数162

16.2实验设置和结果分析163

16.2.1实验设置163

16.2.2结果与分析164

16.3本章小结168

第17章基于交叉模块和变量相关性的多任务学习169

17.1概述169

17.2权值共享层框架169

17.3多任务学习层框架171

17.3.1多任务交叉模块171

17.3.2基于皮尔森相关系数的特征融合173

17.4多任务学习算法实验175

17.4.1实验评测指标175

17.4.2实验条件176

17.4.3实验结果176

17.5本章小结177

第18章基于互斥损失函数的多任务机制研究178

18.1概述178

18.2常用损失函数178

18.2.1基础损失函数178

18.2.2中心损失函数179

18.2.3互斥损失函数180

18.3基于多任务机制的互斥损失函数181

18.4损失函数策略对比实验182

18.4.1实验条件182

18.4.2实验结果182

18.5本章小结184

第19章基于多任务多模态算法的迁移学习探究185

19.1概述185

19.2迁移学习概述185

19.2.1迁移学习的背景185

19.2.2迁移学习的定义185

19.3迁移数据集186

19.4迁移实验186

19.4.1实验条件186

19.4.2实验结果186

19.5本章小结187

第20章基于模态缺失的多模态情感分析方法188

20.1任务定义188

20.2处理数据缺失方法概述188

20.2.1基于模态转译方法189

20.2.2基于张量正则化方法190

20.3模型的框架结构191

20.3.1特征抽取模块192

20.3.2模态重构模块193

20.3.3模态融合模块194

20.3.4模型训练195

20.4实验195

20.4.1多模态情感分析数据集195

20.4.2模态序列特征抽取196

20.4.3基线模型196

20.4.4实验设置196

20.4.5评价标准197

20.5实验分析197

20.5.1模型对缺失程度鲁棒性研究197

20.5.2模型对缺失模态组合鲁棒性研究200

20.5.3消融实验200

20.6本章小结202

第六篇多模态情感分析平台及应用

第21章多模态情感分析实验平台简介205

21.1概述205

21.2平台概览206

21.3数据端207

21.3.1数据管理207

21.3.2数据标注208

21.4模型端209

21.4.1多模态情感分析流程210

21.4.2模型训练与微调210

21.5分析端210

21.5.1多维结果分析211

21.5.2模型对比211

21.5.3端到端现场演示211

21.6实验评价213

21.6.1评价基准数据集213

21.6.2评价标注结果214

21.6.3评价现场演示215

21.7本章小结215第22章扩展应用： 基于多模态临床特征表示与融合的端到端中医体质

评价系统21622.1概述216

22.2中医体质评价系统217

22.3方法218

22.3.1面诊特征表示模块218

22.3.2舌诊特征表示模块219

22.3.3问诊特征表示模块219

22.3.4中医体质预测220

22.4实验220

22.5本章小结221

结束语222

参考文献223

附录A中英文缩写对照表237

附录B图片索引240

附录C表格索引243