解析深度学习-语音识别实践

译者序 iv序 vii前言 ix术语缩写 xxii符号 xxvii第 1 章 简介 11.1 自动语音识别：更好的沟通之桥 . . . . . . . . . . . . . . . . . . . . . . . 11.1.1 人类之间的交流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.1.2 人机交流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 语音识别系统的基本结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3 全书结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.1 **部分：传统声学模型 . . . . . . . . . . . . . . . . . . . . . . 61.3.2 第二部分：深度神经网络 . . . . . . . . . . . . . . . . . . . . . . 61.3.3 第三部分：语音识别中的 dnn-hmm 混合系统 . . . . . . . . . . 71.3.4 第四部分：深度神经网络中的表征学习 . . . . . . . . . . . . . . 71.3.5 第五部分：高级的深度模型 . . . . . . . . . . . . . . . . . . . . . 7**部分 传统声学模型 9第 2 章 混合高斯模型 112.1 随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.2 高斯分布和混合高斯随机变量 . . . . . . . . . . . . . . . . . . . . . . . . 122.3 参数估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.4 采用混合高斯分布对语音特征建模 . . . . . . . . . . . . . . . . . . . . . 16第 3 章 隐马尔可夫模型及其变体 193.1 介绍 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193.2 马尔可夫链 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213.3 序列与模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223.3.1 隐马尔可夫模型的性质 . . . . . . . . . . . . . . . . . . . . . . . . 233.3.2 隐马尔可夫模型的仿真 . . . . . . . . . . . . . . . . . . . . . . . . 243.3.3 隐马尔可夫模型似然度的计算 . . . . . . . . . . . . . . . . . . . . 243.3.4 计算似然度的高效算法 . . . . . . . . . . . . . . . . . . . . . . . . 263.3.5 前向与后向递归式的证明 . . . . . . . . . . . . . . . . . . . . . . 273.4 期望*大化算法及其在学习 hmm 参数中的应用 . . . . . . . . . . . . . 283.4.1 期望*大化算法介绍 . . . . . . . . . . . . . . . . . . . . . . . . . 283.4.2 使用 em 算法来学习 hmm 参数——baum-welch 算法 . . . . . . 303.5 用于解码 hmm 状态序列的维特比算法 . . . . . . . . . . . . . . . . . . . 343.5.1 动态规划和维特比算法 . . . . . . . . . . . . . . . . . . . . . . . . 343.5.2 用于解码 hmm 状态的动态规划算法 . . . . . . . . . . . . . . . . 353.6 隐马尔可夫模型和生成语音识别模型的变体 . . . . . . . . . . . . . . . . 373.6.1 用于语音识别的 gmm-hmm 模型 . . . . . . . . . . . . . . . . . 383.6.2 基于轨迹和隐藏动态模型的语音建模和识别 . . . . . . . . . . . . 393.6.3 使用生成模型 hmm 及其变体解决语音识别问题 . . . . . . . . . 40第二部分 深度神经网络 43第 4 章 深度神经网络 454.1 深度神经网络框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454.2 使用误差反向传播来进行参数训练 . . . . . . . . . . . . . . . . . . . . . 484.2.1 训练准则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484.2.2 训练算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494.3 实际应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534.3.1 数据预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544.3.2 模型初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554.3.3 权重衰减 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554.3.4 丢弃法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564.3.5 批量块大小的选择 . . . . . . . . . . . . . . . . . . . . . . . . . . 584.3.6 取样随机化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594.3.7 惯性系数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604.3.8 学习率和停止准则 . . . . . . . . . . . . . . . . . . . . . . . . . . 614.3.9 网络结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624.3.10 可复现性与可重启性 . . . . . . . . . . . . . . . . . . . . . . . . . 62第 5 章 高级模型初始化技术 655.1 受限玻尔兹曼机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655.1.1 受限玻尔兹曼机的属性 . . . . . . . . . . . . . . . . . . . . . . . . 675.1.2 受限玻尔兹曼机参数学习 . . . . . . . . . . . . . . . . . . . . . . 705.2 深度置信网络预训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735.3 降噪自动编码器预训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765.4 鉴别性预训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785.5 混合预训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785.6 采用丢弃法的预训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79第三部分 语音识别中的深度神经网络–隐马尔可夫混合模型 81第 6 章 深度神经网络–隐马尔可夫模型混合系统 836