声音信号处理与项目实践 教材

目 录
第1章 绪论 1
1.1 声音信号处理的研究内容 1
1.2 声音信号处理的发展历史 2
1.2.1 语音编码算法的发展历史 3
1.2.2 语音识别算法的发展历史 4
1.2.3 语音去噪及增强算法的发展历史 5
1.2.4 语音合成转换等其他算法的发展历史 7
1.2.5 基于语音和视觉信息的多模态融合方法 11
1.3 声音效果评价 14
1.3.1 主观评价方法 14
1.3.2 客观评价方法 15
练习题 16
第2章 声音信号简介 17
2.1 人类语音信号的产生 17
2.2 语音信号的基本特征 18
2.3 声音的特征提取 19
2.3.1 手工声音特征 19
2.3.2 深度语音情感特征 19
2.4 人类的听觉感知 20
2.5 语音数据库 22
2.5.1 语音识别数据集 22
2.5.2 语音情感数据库 23
2.5.3 多模态情感数据集 24
练习题 26
第3章 短时时域处理技术 27
3.1 语音信号的短时处理方法 27
3.1.1 语音端点检测 27
3.1.2 预加重 28
3.1.3 分帧与加窗 28
3.2 短时能量和短时平均幅度 30
3.3 短时过零率 33
3.4 短时自相关函数 35
3.5 短时时域处理技术案例：基音提取 35
3.5.1 基音检测估计方法1：三电平削波法 36
3.5.2 基音检测估计方法2：SHR谐波检测法 40
练习题 42
第4章 短时傅里叶变换 44
4.1 短时傅里叶变换的定义 44
4.2 短时傅里叶变换的理解 45
4.3 短时傅里叶变换的实现 49
4.4 语音短时傅里叶变换的应用案例 50
4.4.1 梅尔频率倒谱系数的提取和应用 50
4.4.2 声音去噪算法的实现 57
4.4.3 声音信号熵的提取应用 62
练习题 69
第5章 声音信号的线性预测编码 70
5.1 线性预测基本原理 70
5.2 线性预测的解析算法 73
5.3 线性预测的应用案例 76
5.3.1 基音检测估计 77
5.3.2 共振峰估计 81
练习题 85
第6章 语音编码 86
6.1 脉冲编码调制 87
6.1.1 均匀量化脉冲编码调制 87
6.1.2 非均匀量化脉冲编码调制 87
6.1.3 自适应量化脉冲编码调制 88
6.2 差分脉冲编码 89
6.2.1 差分脉冲编码原理 89
6.2.2 自适应差分脉冲编码 91
6.3 增量调制 95
6.3.1 增量调制原理 95
6.3.2 自适应增量调制原理 95
6.4 基于线性预测编码的声码器 96
6.4.1 LPC-10声码器 96
6.4.2 码激励线性预测编码 102
练习题 107
第7章 声音合成与转换 109
7.1 语音合成方法 109
7.1.1 参数合成方法 110
7.1.2 波形合成方法 115
7.2 汉语基于音节的规则合成方法 120
7.2.1 韵律规则合成 121
7.2.2 多音节协同发音规则合成 129
7.2.3 轻声音节规则合成 130
7.3 语音转换方法 131
7.3.1 语音转换系统的总体框架 131
7.3.2 语音转换常见的特征参数 132
7.4 语音转换评价指标 134
7.4.1 客观评价 135
7.4.2 主观评价 135
7.5 语音转换应用案例 136
7.5.1 平行语音转换方法 136
7.6 非平行语音转换应用案例 139
7.6.1 循环生成对抗网络 139
7.6.2 星型生成对抗网络 140
7.6.3 变分自动编码器 141
7.6.4 自适应实例规范化 141
7.6.5 激活引导和自适应实例归一化 142
练习题 150
第8章 语音识别 151
8.1 采用矢量量化的说话人识别 151
8.1.1 矢量量化的原理 151
8.1.2 矢量量化的训练 152
8.1.3 矢量量化说话人识别的实现 153
8.2 采用动态时间规整的孤立词识别 154
8.3 基于隐马尔可夫模型的语音（语句）识别 159
8.3.1 HMM模型 159
8.3.2 HMM的概率求解 161
8.3.3 HMM的解码 164
8.3.4 HMM的训练 166
8.3.5 HMM-GMM模型 171
8.3.6 基于HMM的语音识别应用案例 173
练习题 180
第9章 基于深度学习模型的声音技术应用 183
9.1 深度学习网络基础 183
9.1.1 深度学习网络基本结构 183
9.1.2 深度学习网络的训练 185
9.1.3 卷积神经网络 187
9.1.4 循环神经网络 191
9.1.5 注意力机制 197
9.2 基于深度学习的声音去噪算法 198
9.2.1 基于深度神经网络幅度谱估计的深度学习声音去噪算法 198
9.2.2 基于多尺度时频卷积网络的多通道声音去噪 201
9.3 基于深度学习的语音识别应用案例 205
9.3.1 基于循环神经网络-连续时序分类的语音识别 206
9.3.2 基于卷积神经网络的语音识别 209
9.3.3 基于Transformer的语音识别 211
9.4 基于ResNet的语音情感识别应用案例 220
9.5 声音与呼吸信号联合识别应用案例 225
9.6 声音与人脸联合识别应用案例 228
练习题 231
参考文献 232