PYTORCH语音识别实战

第1章 语音识别之路 1
1.1 何谓语音识别 1
1.2 语音识别为什么那么难 2
1.3 语音识别之路—语音识别的发展历程 3
1.3.1 高斯混合-隐马尔科夫时代 4
1.3.2 深度神经网络-隐马尔科夫时代 5
1.3.3 基于深度学习的端到端语音识别时代 6
1.3.4 多模态架构的语音识别与转换 7
1.4 基于深度学习的语音识别的未来 8
1.5 本章小结 8
第2章 PyTorch 2.0深度学习环境搭建 9
2.1 环境搭建1：安装Python 9
2.1.1 Miniconda的下载与安装 9
2.1.2 PyCharm的下载与安装 12
2.1.3 Python代码小练习：计算softmax函数 15
2.2 环境搭建2：安装PyTorch 2.0 16
2.2.1 Nvidia 10/20/30/40系列显卡选择的GPU版本 16
2.2.2 PyTorch 2.0 GPU Nvidia运行库的安装 16
2.2.3 PyTorch 2.0小练习：Hello PyTorch 19
2.3 实战：基于特征词的语音唤醒 20
2.3.1 数据的准备 20
2.3.2 数据的处理 21
2.3.3 模型的设计 24
2.3.4 模型的数据输入方法 24
2.3.5 模型的训练 25
2.3.6 模型的结果和展示 26
2.4 本章小结 27
第3章 音频信号处理的理论与Python实战 28
3.1 音频信号的基本理论详解 28
3.1.1 音频信号的基本理论 28
3.1.2 音频信号的时域与频域 29
3.2 傅里叶变换详解 30
3.2.1 傅里叶级数 31
3.2.2 连续到离散的计算 33
3.2.3 Python中的傅里叶变换实战 34
3.3 快速傅里叶变换与短时傅里叶变换 38
3.3.1 快速傅里叶变换Python实战 39
3.3.2 短时傅里叶变换Python实战 42
3.4 梅尔频率倒谱系数Python实战 44
3.4.1 梅尔频率倒谱系数的计算过程 44
3.4.2 梅尔频率倒谱系数的Python实现 45
3.5 本章小结 52
第4章 音频处理工具包Librosa详解与实战 53
4.1 音频特征提取Librosa包基础使用 53
4.1.1 基于Librosa的音频信号读取 53
4.1.2 基于Librosa的音频多种特征提取 56
4.1.3 其他基于Librosa的音频特征提取工具 58 4.2 基于音频特征的声音聚类实战 59
4.2.1 数据集的准备 59
4.2.2 按标签类别整合数据集 62
4.2.3 音频特征提取函数 63
4.2.4 音频特征提取之数据降维 64
4.2.5 音频特征提取实战 65
4.3 本章小结 69
第5章 基于深度神经网络的语音情绪分类识别 70
5.1 深度神经网络与多层感知机详解 70
5.1.1 深度神经网络与多层感知机 70
5.1.2 基于PyTorch 2.0的深度神经网络建模示例 71
5.1.3 交叉熵损失函数详解 73
5.2 实战：基于深度神经网络的语音情绪识别 74
5.2.1 情绪数据的获取与标签的说明 75
5.2.2 情绪数据集的读取 76
5.2.3 基于深度神经网络示例的模型设计和训练 78
5.3 本章小结 79
第6章 一学就会的深度学习基础算法 80
6.1 反向传播神经网络前身历史 80
6.2 反向传播神经网络基础算法详解 84
6.2.1 *小二乘法详解 84
6.2.2 梯度下降算法（道士下山的故事） 86
6.2.3 *小二乘法的梯度下降算法及其Python实现 89
6.3 反馈神经网络反向传播算法介绍 95
6.3.1 深度学习基础 95
6.3.2 链式求导法则 96
6.3.3 反馈神经网络原理与公式推导 97
6.3.4 反馈神经网络原理的激活函数 103
6.4 本章小结 104
第7章 基于PyTorch卷积层的语音情绪分类识别 105
7.1 卷积运算的基本概念 105
7.1.1 基本卷积运算示例 106
7.1.2 PyTorch中的卷积函数实现详解 107
7.1.3 池化运算 109
7.1.4 softmax激活函数 111
7.1.5 卷积神经网络的原理 112
7.2 基于卷积神经网络的语音情绪分类识别 114
7.2.1 串联到并联的改变—数据的准备 114
7.2.2 基于卷积的模型设计 116
7.2.3 模型训练 117
7.3 PyTorch的深度可分离膨胀卷积详解 118
7.3.1 深度可分离卷积的定义 119
7.3.2 深度的定义以及不同计算层待训练参数的比较 121
7.3.3 膨胀卷积详解 121
7.4 本章小结 122
第8章 词映射与循环神经网络 123
8.1 有趣的词映射 123
8.1.1 什么是词映射 124
8.1.2 PyTorch中的词映射处理函数详解 125
8.2 实战：循环神经网络与文本内容情感分类 126
8.2.1 基于循环神经网络的中文情感分类准备工作 126
8.2.2 基于循环神经网络的中文情感分类 128
8.3 循环神经网络理论讲解 131
8.3.1 什么是GRU 131
8.3.2 单向不行，那就双向 133
8.4 本章小结 134
第9章 基于Whisper的语音转换实战 135
9.1 实战：Whisper语音转换 135
9.1.1 Whisper使用环境变量配置与模型介绍 135
9.1.2 Whisper模型的使用 137
9.1.3 一学就会的语音转换Web前端 138
9.2 Whisper模型详解 141
9.2.1 Whisper模型总体介绍 141
9.2.2 更多基于Whisper的应用 143
9.3 本章小结 144
第10章 注意力机制 146
10.1 注意力机制与模型详解 146
10.1.1 注意力机制详解 147
10.1.2 自注意力机制 148
10.1.3 ticks和Layer Normalization 153
10.1.4 多头自注意力 154
10.2 注意力机制的应用实践：编码器 157
10.2.1 编码器的总体架构 157
10.2.2 回到输入层：初始词向量层和位置编码器层 158
10.2.3 前馈层的实现 161
10.2.4 多层模块融合的TransformerBlock层 162
10.2.5 编码器的实现 164 10.3 实战编码器：拼音汉字转换模型 169
10.3.1 汉字拼音数据集处理 169
10.3.2 汉字拼音转换模型的确定 171
10.3.3 模型训练代码的编写 172
10.4 本章小结 174
第11章 鸟叫的多标签分类实战 175
11.1 基于语音识别的多标签分类背景知识详解 175
11.1.1 多标签分类不等于多分类 176
11.1.2 多标签损失函数Sigmoid BCELoss 176
11.2 实战：鸟叫的多标签分类 178
11.2.1 鸟叫声数据集的获取 178
11.2.2 鸟叫声数据处理与可视化 179
11.2.3 鸟叫声数据的批量化数据集建立 182
11.2.4 鸟叫分辨深度学习模型的搭建 185
11.2.5 多标签鸟叫分类模型的训练与预测 188
11.3 为了更高的准确率：多标签分类模型的补充内容 190
11.3.1 使用不同的损失函数提高准确率 190
11.3.2 使用多模型集成的方式完成鸟叫语音识别 192
11.4 本章小结 194
第12章 多模态语音转换模型基础 195
12.1 语音文字转换的研究历程与深度学习 195
12.1.1 语音文字转换的传统方法 195
12.1.2 语音文字转换基于深度学习的方法 197
12.1.3 早期深度学习语音文字转换模型介绍 198
12.2 基于GLM架构的多模态语音文本转换模型 202
12.2.1 *强的人工智能模型ChatGLM介绍 202
12.2.2 更加准确、高效和泛化性的多模态语音转换架构—GLM与GPT2 203
12.3 从零开始的GPT2模型训练与数据输入输出详解 205
12.3.1 开启低硬件资源GPT2模型的训练 205
12.3.2 GPT2的输入输出结构—自回归性（auto-regression） 206
12.3.3 GPT2模型的输入格式的实现 208
12.3.4 经典GPT2模型的输出格式详解与代码实现 210
12.4 一看就能学会的GPT2模型源码详解 212
12.4.1 GPT2模型中的主类 212
12.4.2 GPT2模型中的Block类 219
12.4.3 GPT2模型中的Attention类 224
12.4.4 GPT2模型中的MLP类 231
12.5 具有多样性生成的GPT2生成函数 232
12.5.1 创造性函数的使用与代码详解 233
12.5.2 创造性参数temperature与采样个数TopK简介 234
12.6 本章小结 236
第13章 GLM架构多模态语音文字转换实战 237
13.1 GLM架构详解 237
13.1.1 GLM模型架构重大突破：旋转位置编码 238
13.1.2 添加旋转位置编码的注意力机制 239
13.1.3 新型的激活函数GLU详解 240
13.1.4 调整架构顺序的GLMBlock 240
13.1.5 自定义完整的GLM模型（单文本生成版） 243
13.2 实战：基于GLM的文本生成 247
13.2.1 数据集的准备 247
13.2.2 模型的训练 250
13.2.3 模型的推断 252
13.3 实战：基于GLM的语音文本转换 253
13.3.1 数据集的准备与特征抽取 253
13.3.2 语音特征融合的方法 255
13.3.3 基于多模态语音融合的多模态模型设计 256
13.3.4 模型的训练 261
13.3.5 模型的推断 262
13.3.6 多模态模型准确率提高的方法 263
13.4 本章小结 264