语音情感识别

第1章 语音情感识别基本知识 1 1.1 语音情感识别的研究背景和意义 1 1.2 语音情感识别关键技术 1 1.2.1 情感语音数据库 1 1.2.2 语音情感特征 2 1.2.3 语音情感识别模型 3 1.3 基于脑认知的语音情感识别研究 5 小结 5 参考文献 5 第2章 情感的划分 7 2.1 离散情感划分 7 2.2 情感维度空间模型 8 2.3 基于离散情感的维度空间模型 11 2.4 其他情感模型 12 小结 13 参考文献 13 第3章 情感语音数据库 15 3.1 情感语音数据库建立的基本原则 15 3.2 TYUT1.0情感语音数据库的建立 17 3.2.1 语音的采集 17 3.2.2 语句的有效性分析 18 3.3 TYUT2.0情感语音数据库的建立 20 3.3.1 截取情感语音素材 20 3.3.2 语句的有效性评价 20 3.4 基于PAD情绪模型的情感语音数据库优化及标注 24 3.4.1 TYUT2.0 情感语音数据库的优化实验 24 3.4.2 三维PAD情感模型量化标注实验 26 3.5 常用情感语音数据库 33 3.5.1 柏林情感语音数据库 33 3.5.2 VAM数据库 34 3.5.3 SEMAINE数据库 34 3.5.4 IEMOCAP数据库 34 3.5.5 AVEC 2012数据库 35 3.5.6 MERC数据库 35 小结 35 参考文献 36 第4章 语音情感特征分析与研究 37 4.1 传统语音情感特征 37 4.1.1 韵律特征 37 4.1.2 音质特征 39 4.1.3 MFCC特征 39 4.1.4 LPCC特征 40 4.2 基于人耳听觉模型的谱能量特征 40 4.2.1 基本的谱能量特征介绍 40 4.2.2 人耳听觉特性 42 4.2.3 基于Bark尺度频带划分的谱能量特征 44 4.2.4 基于ERB尺度频带划分的谱能量特征 47 4.3 基于人耳听觉特性的谱能量特征的优化改进 49 4.3.1 声道响应对谱能量特征的补偿算法 49 4.3.2 基于TEO的谱能量特征 51 4.3.3 多种特征的情感识别率对比 52 4.4 基于HHT情感语音特征提取 57 4.4.1 HHT基本理论 57 4.4.2 集合经验模态分解方法EEMD 61 4.4.3 基于EEMD的IMFE特征提取 65 4.4.4 EEMD-Teager能量谱特征提取 68 4.4.5 HHT边际谱特征提取 69 小结 72 参考文献 72 第5章 基于人耳听觉的情感特征及在语音情感识别中的应用 74 5.1 ZCPA特征 74 5.2 帧优化算法对ZCPA特征的改进 77 5.2.1 帧优化算法基本理论 77 5.2.2 实验步骤 79 5.2.3 实验结果及分析 79 5.3 基于人耳听觉特性的过零峰值Teager能量算子（ZCMT）特征 80 5.3.1 ZCMT特征原理及提取步骤 80 5.3.2 实验结果及分析 81 5.4 声门补偿的ZCMT特征 83 5.4.1 语音产生的非线性模型 83 5.4.2 典型的声门特征及基音周期的提取 84 5.4.3 声门特征对于人耳听觉模型特征的影响 86 5.4.4 人耳听觉补偿算法 87 5.4.5 声门特征补偿的人耳听觉模型特征在语音情感识别中的应用 88 5.4.6 实验结果及分析 89 小结 90 参考文献 90 第6章 情感语音非线性特征分析研究 92 6.1 语音的非线性特性 92 6.2 情感语音信号的非线性特性 93 6.2.1 功率谱分析 93 6.2.2 主分量分析 94 6.2.3 相空间重构 95 6.3 非线性属性特征分析研究 99 6.3.1 关联维数 99 6.3.2 Kolmogorov熵 100 6.3.3 Lyapunov指数 101 6.3.4 Hurst指数 102 6.3.5 基于非线性属性特征的语音情感识别实验 103 6.4 基于相空间重构的非线性几何特征 108 6.4.1 非线性几何特征参数提取 108 6.4.2 基于五种描述符轮廓的语音情感识别实验 110 6.4.3 基于非线性几何特征的语音情感识别实验 113 6.5 基于特征级融合的情感语音特征参数优化 115 6.5.1 特征级融合在语音情感识别中的应用 115 6.5.2 基于特征级融合的语音情感识别实验 116 6.6 基于特征选择的情感语音特征参数优化 118 6.6.1 特征选择在语音情感识别中的应用 118 6.6.2 基于特征选择的语音情感识别实验 119 6.7 基于特征优化的情感语音特征参数优化 120 6.7.1 特征分析 120 6.7.2 特征优化算法 122 6.7.3 基于非线性全局特征的特征优化预实验 123 6.7.4 基于特征全集的特征优化语音情感识别实验 123 小结 124 参考文献 124 第7章 语音情感识别建模 126 7.1 基于CHMM语音情感识别系统的建立与实现 126 7.1.1 HMM建模的语音情感识别系统 126 7.1.2 CHMM语音情感识别系统的设计与实现 127 7.1.3 实验结果与分析 131 7.2 基于极限学习机的情感识别模型 133 7.2.1 核函数ELM基本理论 133 7.2.2 基于核函数ELM的情感识别 137 7.2.3 Im-ABC优化KELM识别网络 140 7.2.4 选择性集成极限学习机的研究 147 7.3 基于FCM的语音情感识别 152 7.3.1 FCM基本理论概述 152 7.3.2 FCM语音情感识别网络的架构 153 7.3.3 e-FCM语音情感识别网络的实现 155 7.3.4 实验及结果分析 157 小结 166 参考文献 167 第8章 融合算法应用于语音情感识别的研究 168 8.1 数据融合 168 8.1.1 数据融合的概念 168 8.1.2 特征级融合 169 8.1.3 决策级融合 170 8.2 决策融合e-FCM算法介绍 170 8.2.1 概率矩阵 170 8.2.2 决策方法制定 171 8.3 实验结果与分析 173 8.3.1 语音特征的选择 173 8.3.2 决策融合e-FCM实验 173 小结 177 参考文献 177 第9章 连续维度语音情感识别研究 178 9.1 情感语音特征与PAD三维相关性分析 178 9.1.1 原理介绍 178 9.1.2 Pearson相关介绍 179 9.1.3 结果分析 179 9.2 犹豫模糊集决策融合预测PAD值 180 9.2.1 犹豫模糊信息 180 9.2.2 加权融合预测PAD值 182 9.3 仿真实验及结果分析 183 9.3.1 PAD数据的概率特性验证 183 9.3.2 情感PAD数据空间分布 184 9.4 基于特征选择改进模型的PAD情感维度预测 185 9.4.1 基于GRA-PCA特征选择的PAD维度预测 186 9.4.2 基于聚类PSO-LSSVM模型的PAD维度预测 196 9.4.3 PAD维度预测的综合模型研究 203 小结 208 参考文献 208 第10章 情感语音诱发的脑电信号分析研究 211 10.1 脑电信号 211 10.1.1 脑电信号的概念 211 10.1.2 脑电信号的电极导联 212 10.1.3 事件相关电位 214 10.1.4 情感语音诱发的事件相关电位 215 10.1.5 基于诱发脑电信号的认知心理学分析方法 216 10.2 情感语音诱发的脑电信号采集与处理 219 10.2.1 实验设计 220 10.2.2 实验准备 221 10.2.3 实验材料的筛选与预处理 222 10.2.4 实验任务和实验程序 224 10.2.5 ERP的记录与预处理 225 10.2.6 数据分析 226 10.3 基于情感语音持续时长影响的ERP研究 226 10.3.1 实验方法 227 10.3.2 实验结果及分析 229 10.3.3 实验结论 234 10.4 基于情感语音基频影响的ERP研究 235 10.4.1 实验方法 235 10.4.2 实验结果及分析 237 10.4.3 实验结论 241 10.5 言语的可理解性及非言语情感诱发的ERP研究 242 10.5.1 实验方法 242 10.5.2 实验结果及分析 244 10.5.3 实验结论 249 小结 249 参考文献 250 第11章 脑电辅助语音信号的情感识别研究 254 11.1 脑电信号与语音信号的常用信号处理方法 254 11.2 结合非线性全局特征和谱特征的情感脑电信号分析 256 11.2.1 情感语音脑电信号非线性全局特征提取 256 11.2.2 结合非线性全局特征和谱特征的情感脑电识别实验 258 11.3 基于压缩感知的情感识别模型 261 11.3.1 压缩感知基本理论 261 11.3.2 CS识别模型的构建 263 11.3.3 CS中不同重构算法性能对比实验 267 11.3.4 CS情感识别的过程 268 11.4 基于CS的脑电辅助语音信号的情感识别 269 11.4.1 语音信号的情感识别 270 11.4.2 脑电信号的情感识别 274 11.4.3 基于特征的CCA融合 277 小结 282 参考文献 282