深度学习理论与实践

第1章 绪论 1
1.1 疫情防控中的应用 3
1.2 自动驾驶中的应用 4
1.3 现代农业中的应用 5
第2章 基础回归模型 6
2.1 线性回归模型 6
2.1.1 一元线性回归 7
2.1.2 多元线性回归 7
2.1.3 多项式回归 9
2.2 参数估计模型 10
2.2.1 *小二乘估计 10
2.2.2 岭回归 12
2.2.3 套索回归 14
2.2.4 弹性回归 15
2.3 梯度下降算法 17
2.3.1 梯度的概念 17
2.3.2 梯度下降法算法 21
2.3.3 梯度下降算法分类 25
2.4 回归模型效果评估 27
2.4.1 平均绝对误差(MAE) 27
2.4.2 平均绝对百分比误差
MAPE) 27
2.4.3 均方误差(MSE) 28
2.4.4 均方根误差(RMSE) 28
2.4.5 均方根对数误差(RMSLE) 28
2.4.6 中位数绝对误差(MedAE) 28
2.4.7 决定系数(R2) 29
习题2 30
第3章 基础分类模型 32
3.1 逻辑回归 32
3.1.1 广义线性模型 32
3.1.2 逻辑回归模型 33
3.1.3 代价函数 35
3.1.4 模型求解 36
3.2 支持向量机 37
3.2.1 线性支持向量机 37
3.2.2 模型参数的求解 40
3.2.3 非线性支持向量机 41
3.3 决策树 43
3.3.1 算法简介 43
3.3.2 决策树的基本构建流程 44
3.3.3 特征选择与不纯性计算 45
3.3.4 C4.5算法 50
3.4 贝叶斯分类 51
3.4.1 相关数学概念 51
3.4.2 贝叶斯决策理论 53
3.4.3 极大似然估计 55
3.4.4 朴素贝叶斯分类器 56
3.4.5 半朴素贝叶斯分类器 58
3.5 分类模型效果评估 60
3.5.1 一级指标 60
3.5.2 二级指标 61
3.5.3 三级指标 62
习题3 64
第4章 人工神经网络基础 65
4.1 人工神经网络基础结构 65
4.1.1 人工神经元 65
4.1.2 单层神经网络 66
4.1.3 多层神经网络 67
4.2 神经网络的向量化表示与主要函数 68
4.2.1 神经网络的向量化表示 68
4.2.2 常用激活函数 69
4.2.3 常见损失函数 72
4.3 正向传播与反向传播 73
4.3.1 正向传播 73
4.3.2 反向传播 74
4.4 深度学习平台简介 77
习题4 80
第5章 人工神经网络优化 81
5.1 人工神经网络的特点和主要
问题 81
5.2 模型优化表征能力提外
方法 82
5.2.1 模型的规模提升与结构选择 82
5.2.2 数据预处理 85
5.2.3 模型参数初始化 86
5.2.4 模型结构优化 89
5.2.5 模型的超参设定 92
5.3 优化算法改进方法 95
5.3.1 指数加权平均 95
5.3.2 基于动量的梯度下降法 96
5.3.3 AdaGrad & RMSprop算法 97
5.3.4 Adam算法 99
5.3.5 近似梯度计算 100
5.4 模型效果评估与泛化能力提外方法 104
5.4.1 训练集、验证集、测试集
划分 104
5.4.2 欠拟合与过拟合 105
5.4.3 正则化 106
5.4.4 丢弃法 107
5.4.5 提前停止法 109
5.4.6 误差分析 110
习题5 110
第6章 卷积神经网络 112
6.1 卷积神经网络基础 112
6.1.1 卷积运算 113
6.1.2 池化操作 116
6.1.3 卷积神经网络构成 116
6.1.4 反向传播 118
6.2 经典的卷积神经网络模型 121
6.2.1 AlexNet 121
6.2.2 VGG网络 124
6.2.3 GoogleNet(Inception) 126
6.2.4 ResNet 128
6.2.5 DenseNet 132
6.2.6 SqueezeNet 134
习题6 135
第7章 循环神经网络 137
7.1 循环神经网络基础 137
7.1.1 循环神经网络的基础结构 137
7.1.2 不同类型的循环神经网络 138
7.1.3 正向传播 140
7.1.4 反向传播 141
7.2 经典的循环神经网络模型 144
7.2.1 LSTM 144
7.2.2 GRU 147
7.2.3 双向循环神经网络 148
7.2.4 多层循环神经网络模型 149
7.2.5 Seq-to-Seq模型 150
习题7 152
第8章 注意力机制及其应用 154
8.1 注意力机制 154
8.1.1 注意力机制模型构建流程 155
8.1.2 多头注意力机制 157
8.2 自注意力模型 157
8.3 Transformer模型 159
8.3.1 编码器 160
8.3.2 解码器 160
8.3.3 多头自注意力 160
8.3.4 位置信息编码 161
8.4 自然语言处理中的注意力
模型 162
8.4.1 自然语言处理背景介绍 162
8.4.2 Word2vec原理与训练
模式 163
8.4.3 ELMo 174
8.4.4 GPT模型 176
8.4.5 Bert模型 179
习题8 180
第9章 图神经网络 181
9.1 图的概述 182
9.1.1 图的基本定义 182
9.1.2 图的基本类型 182
9.1.3 图的存储 184
9.1.4 图的应用 184
9.2 图信号处理 186
9.2.1 图的拉普拉斯矩阵 186
9.2.2 图的傅里叶变换 188
9.3 图卷积网络 190
9.3.1 图卷积网络的演化 191
9.3.2 一般图卷积网络 192
9.4 空间域图神经网络 194
9.4.1 GNN的通用框架 194
9.4.2 GraphSAGE 198
9.4.3 图自注意力网络 199
9.4.4 Graphormer 201
习题9 203
第10章 无监督学习 204
10.1 聚类 205
10.1.1 k-Means聚类 205
10.1.2 k-Means 聚类算法 207
10.2 无监督特征学习 208
10.2.1 主成分分析 208
10.2.2 自编码器 210
10.2.3 生成对抗网络 214
习题10 218
第11章 强化学习 220
11.1 强化学习概述 220
11.1.1 强化学习的理论基础 221
11.1.2 强化学习的分类 223
11.1.3 强化学习的应用 224
11.2 马尔可夫决策过程 225
11.2.1 价值函数 226
11.2.2 *优价值函数求解 228
11.2.3 马尔可夫决策过程实例 229
11.3 模型强化学习 230
11.3.1 策略评估 231
11.3.2 策略改进 232
11.3.3 策略迭代 233
11.4 无模型强化学习 233
11.4.1 蒙特卡罗强化学习 234
11.4.2 时序差分学习 237
11.4.3 价值函数近似 241
11.4.4 深度Q-learning 243
习题11 244
参考文献 246