深度学习

第1章 深度学习的来源与应用 1
1.1 人工智能的思想、流派与发展起落 1
1.1.1 人工智能的思潮流派和主要研究与应用领域 2
1.1.2 人工智能的三起三落 4
1.2 什么是深度学习 6
1.2.1 我们不分离——数据和算法 6
1.2.2 深度学习基础 9
1.3 机器学习与深度学习 10
1.3.1 机器学习的定义与种类 10
1.3.2 机器学习的任务与方法 13
1.3.3 深度学习的提出 16
1.4 深度学习的应用场景 18
1.4.1 应用场合和概念层次 18
1.4.2 主要开发工具和框架 20
1.4.3 人工智能、深度学习有关学术会议和赛事 22
习题 24
参考文献 24
第2章 深度学习的数学基础 26
2.1 线性代数 26
2.1.1 向量空间 26
2.1.2 矩阵分析 28
2.2 概率与统计 30
2.2.1 概率与条件概率 30
2.2.2 贝叶斯理论 33
2.2.3 信息论基础 35
2.3 多元微积分 39
2.3.1 导数和偏导数 39
2.3.2 梯度和海森矩阵 42
2.3.3 *速下降法 44
2.3.4 随机梯度下降算法 45
习题 48
参考文献 50
第3章 人工神经网络与深度学习 51
3.1 探秘大脑的工作原理 52
3.1.1 人类活动抽象与深度学习模型 53
3.1.2 人脑神经元的结构 54
3.1.3 人脑神经元功能 55
3.1.4 人脑视觉机理 57
3.2 人脑神经元模型 59
3.2.1 人脑神经元模型介绍 60
3.2.2 激活函数 62
3.3 M-P模型 64
3.3.1 标准M-P模型 65
3.3.2 改进的M-P模型 66
3.4 人脑神经网络的互连结构 66
3.4.1 前馈神经网络 67
3.4.2 反馈网络 67
3.5 人工神经网络的学习 68
3.5.1 人工神经网络的学习方式 68
3.5.2 神经网络的学习规则 71
3.5.3 人工神经网络算法基本要求 73
3.5.4 神经网络计算特点 74
3.6 人工神经网络的特点 75
3.7 神经网络基本概念与功能 76
3.7.1 几个基本概念 76
3.7.2 基本功能 78
3.7.3 感知机的局限性 83
3.8 深度学习其他网络结构 84
3.8.1 卷积神经网络 88
3.8.2 循环（递归）神经网络 94
习题 97
参考文献 98
第4章 深度学习基本过程 99
4.1 正向学习过程 99
4.1.1 正向学习概述 99
4.1.2 正向传播的流程 100
4.1.3 正向传播的详细原理 100
4.2 反向调整过程 102
4.2.1 反向调整概述 102
4.2.2 反向传播过程详解 103
4.2.3 深层模型反向调整的问题与对策 106
4.3 手写体数字识别实例 107
4.3.1 数据准备 107
4.3.2 网络设计 109
4.3.3 模型训练 115
4.3.4 模型测试 116
习题 121
参考文献 121
第5章 深度学习主流模型 122
5.1 卷积神经网络 123
5.1.1 CNN概念 123
5.1.2 CNN常用算法 127
5.1.3 CNN训练技巧 131
5.2 循环神经网络 132
5.2.1 RNN结构 132
5.2.2 RNN训练 133
5.2.3 RNN训练技巧 135
习题 136
参考文献 136
第6章 深度学习的主流开源框架 138
6.1 Caffe 138
6.1.1 Caffe框架 138
6.1.2 安装Caffe 139
6.1.3 案例：基于Caffe的目标识别 145
6.2 TensorFlow 146
6.2.1 TensorFlow框架 146
6.2.2 安装TensorFlow 147
6.2.3 案例：基于TensorFlow的目标识别 149
6.3 其他开源框架 150
6.3.1 CNTK 150
6.3.2 MXNet 151
6.3.3 Theano 151
6.3.4 Torch 151
6.3.5 Deeplearning4j 152
习题 153
参考文献 153
第7章 深度学习在图像中的应用 154
7.1 图像识别基础 154
7.2 基于深度学习的大规模图像识别 155
7.2.1 大规模图像数据库：ImageNet 155
7.2.2 AlexNet网络结构 156
7.2.3 非线性激活函数ReLU 157
7.2.4 在多GPU上进行实现 158
7.2.5 增加训练样本 158
7.2.6 dropout技术 159
7.3 应用举例：人脸识别 160
7.3.1 人脸识别的经典流程 160
7.3.2 人脸图像数据库 161
7.3.3 基于深度学习的人脸识别方法 162
7.4 应用举例：图像风格化 163
7.4.1 内容重构 164
7.4.2 风格重构 165
7.4.3 内容与风格的重组 166
7.5 应用举例：图像标注 167
7.5.1 基于深度网络的图像标注方法概述 168
7.5.2 视觉语义对齐 169
7.5.3 为新图像生成对应文本描述 171
习题 172
参考文献 172
第8章 深度学习在语音中的应用 174
8.1 语音识别基础 174
8.1.1 人类之间的交流 175
8.1.2 人机交流 175
8.1.3 语音识别系统的基本结构 176
8.1.4 特征提取 176
8.1.5 声学模型 177
8.1.6 语言模型 177
8.1.7 解码器 178
8.1.8 用于语音识别的GMM-HMM模型 178
8.2 基于深度学习的连续语音识别 181
8.2.1 DNN-HMM混合系统 181
8.2.2 CD-DNN-HMM的关键模块及分析 185
8.3 应用举例：语音输入法 190
8.3.1 案例背景 190
8.3.2 语音输入法设计 191
8.3.3 语音中心SpeechCenter的设计 192
8.3.4 输入法FreeVoice的设计 194
8.3.5 FreeVoice和SpeechCenter之间的通信设计 196
习题 198
参考文献 198
第9章 深度学习在文本中的应用 201
9.1 自然语言处理基础 201
9.1.1 正则表达式和自动机 202
9.1.2 句法处理 203
9.1.3 词的分类和词性标注 203
9.1.4 上下文无关语法 205
9.1.5 浅层语法分析 205
9.1.6 语义分析 206
9.1.7 语义网络 206
9.1.8 词汇关系信息库 206
9.2 基于深度学习的文本处理 207
9.2.1 词汇向量化表示 207
9.2.2 句法分析 209
9.2.3 神经机器翻译 209
9.2.4 情感分析 210
9.3 应用举例：机器翻译 211
9.4 应用举例：聊天机器人 215
9.4.1　聊天机器人的主要功能模块 216
9.4.2　主要的技术挑战 217
9.4.3　深度学习构建智能聊天机器人 218
习题 220
参考文献 220
第10章 深度学习前沿发展 222
10.1 增强学习 222
10.1.1 增强学习的基本概念 222
10.1.2 增强学习的过程 224
10.1.3 增强学习的应用 225
10.2 迁移学习 225
10.2.1 迁移学习的定义 226
10.2.2 迁移学习的分类 226
10.2.3 迁移学习的应用场景 226
10.3 记忆网络 228
10.3.1 循环神经网络 228
10.3.2 长短期记忆网络 228
10.3.3 长短期记忆变体 231
10.4 深度学习的硬件实现 232
10.4.1 FPGA 232
10.4.2 ASIC 233
10.4.3 TPU 234
10.4.4 寒武纪 235
10.4.5 TrueNorth 237
习题 238
参考文献 238
附录A 人工智能和大数据实验环境 240