动手学Pytorch建模与应用 从深度学习到大模型

第 1 章 深度学习和PyTorch概述 1
1.1 走进深度学习的世界 1
1.1.1 深度学习的发展历史 1
1.1.2 深度学习框架PyTorch 3
1.1.3 深度学习的应用领域 4
1.2 搭建开发环境 5
1.2.1 安装Python 3.12 5
1.2.2 安装代码开发工具Jupyter Lab 9
1.2.3 安装PyTorch 2.2 10
1.3 PyTorch的应用场景 14
1.4 上机练习题 14
第 2 章 PyTorch数学基础 17
2.1 PyTorch中的函数 17
2.1.1 函数的基础知识 17
2.1.2 PyTorch中的主要函数 20
2.2 微分基础 22
2.2.1 微分及其公式 22
2.2.2 PyTorch自动微分 24
2.3 数理统计基础 29
2.3.1 数理统计及其指标 29
2.3.2 PyTorch统计函数 34
2.4 矩阵基础 45
2.4.1 矩阵及其运算 45
2.4.2 PyTorch矩阵运算 47
2.5 动手练习：拟合余弦函数曲线 54
2.6 上机练习题 58
第 3 章 数据预处理及常用工具 62
3.1 NumPy 62
3.1.1 安装和导入NumPy 62
3.1.2 NumPy的数据结构ndarray 63
3.1.3 NumPy的基本使用 63
3.2 Matplotlib 65
3.2.1 安装和导入Matplotlib 65
3.2.2 Matplotlib的使用示例 66
3.3 数据清洗 70
3.3.1 数据清洗的作用 70
3.3.2 用Pandas进行数据清洗 71
3.4 特征工程 76
3.4.1 特征工程概述 76
3.4.2 使用Scikit-learn进行数据预处理 78
3.4.3 使用Pandas实现特征工程 81
3.5 深度学习解决问题的一般步骤 82
3.6 动手练习：每日*高温度预测 84
3.7 上机练习题 90
第 4 章 PyTorch基础知识 95
4.1 张量及其创建 95
4.1.1 张量及其数据类型 95
4.1.2 使用数组直接创建张量 96
4.1.3 使用概率分布创建张量 98
4.2 激活函数 99
4.2.1 激活函数及其必要性 99
4.2.2 Sigmoid激活函数 100
4.2.3 Tanh激活函数 101
4.2.4 ReLU激活函数 102
4.2.5 Leaky ReLU激活函数 103
4.2.6 其他类型的激活函数 104
4.3 损失函数 105
4.3.1 损失函数及其选取 106
4.3.2 L1范数损失函数 106
4.3.3 均方误差损失函数 107
4.3.4 交叉熵损失函数 108
4.3.5 余弦相似度损失 109
4.3.6 其他损失函数 109
4.4 优化器 110
4.4.1 梯度及梯度下降算法 111
4.4.2 随机梯度下降算法 112
4.4.3 标准动量优化算法 112
4.4.4 AdaGrad算法 113
4.4.5 RMSProp算法 113
4.4.6 Adam算法 114
4.5 动手练习：PyTorch优化器比较 114
4.6 上机练习题 119
第 5 章 PyTorch深度神经网络 124
5.1 神经网络概述 124
5.1.1 神经元模型 124
5.1.2 多层感知机 126
5.1.3 前馈神经网络 128
5.2 卷积神经网络 129
5.2.1 卷积神经网络的历史 129
5.2.2 卷积神经网络的结构 130
5.2.3 卷积神经网络的类型 131
5.3 循环神经网络 134
5.3.1 简单的循环神经网络 134
5.3.2 长短期记忆网络 136
5.3.3 门控循环单元 138
5.4 动手练习：股票成交量趋势预测 139
5.5 上机练习题 148
第 6 章 PyTorch数据建模 152
6.1 回归分析及案例 152
6.1.1 回归分析简介 152
6.1.2 回归分析建模 153
6.1.3 动手练习：住房价格回归预测 155
6.2 聚类分析及案例 160
6.2.1 聚类分析简介 160
6.2.2 聚类分析建模 160
6.2.3 动手练习：植物花卉特征聚类 162
6.3 主成分分析及案例 165
6.3.1 主成分分析简介 166
6.3.2 主成分分析建模 166
6.3.3 动手练习：地区竞争力指标降维 167
6.4 模型评估与调优 173
6.4.1 模型评估方法 173
6.4.2 模型调优方法 176
6.4.3 动手练习：PyTorch实现交叉验证 178
6.5 上机练习题 187
第 7 章 PyTorch图像建模 190
7.1 图像建模概述 190
7.1.1 图像分类技术 190
7.1.2 图像识别技术 191
7.1.3 图像分割技术 192
7.2 动手练习：创建图像自动分类器 193
7.2.1 加载数据集 193
7.2.2 搭建网络模型 194
7.2.3 训练网络模型 195
7.2.4 应用网络模型 196
7.3 动手练习：搭建图像自动识别模型 198
7.3.1 加载数据集 198
7.3.2 搭建与训练网络 200
7.3.3 预测图像数据 202
7.3.4 图像识别模型的判断 202
7.4 动手练习：搭建图像自动分割模型 204
7.4.1 加载数据集 205
7.4.2 搭建网络模型 206
7.4.3 训练网络模型 209
7.4.4 应用网络模型 210
7.5 上机练习题 212
第 8 章 PyTorch文本建模 220
8.1 自然语言处理的几个模型 220
8.1.1 Word2Vec模型 220
8.1.2 Seq2Seq模型 221
8.1.3 Attention模型 222
8.2 动手练习：Word2Vec提取相似文本 223
8.2.1 加载数据集 223
8.2.2 搭建网络模型 227
8.2.3 训练网络模型 228
8.2.4 应用网络模型 230
8.3 动手练习：Seq2Seq实现机器翻译 231
8.3.1 加载数据集 231
8.3.2 搭建网络模型 237
8.3.3 训练网络模型 240
8.3.4 应用网络模型 242
8.4 动手练习：Attention模型实现文本自动分类 244
8.4.1 加载数据集 244
8.4.2 搭建网络模型 246
8.4.3 训练网络模型 247
8.4.4 应用网络模型 251
8.5 上机练习题 251
第 9 章 PyTorch音频建模 258
9.1 音频处理技术及应用 258
9.1.1 音频处理技术 258
9.1.2 音视频摘要技术及其应用 259
9.1.3 音频识别及应用 260
9.1.4 音频监控及应用 261
9.1.5 场景感知及应用 261
9.2 梅尔频率倒谱系数音频特征 262
9.2.1 梅尔频率倒谱系数简介及参数的提取过程 262
9.2.2 音频预处理 263
9.2.3 快速傅里叶变换 264
9.2.4 能量谱处理 264
9.2.5 离散余弦转换 265
9.3 PyTorch音频建模技术 266
9.3.1 加载音频数据源 266
9.3.2 波形变换的类型 267
9.3.3 绘制波形频谱图 268
9.3.4 波形Mu-Law编码 270
9.3.5 变换前后波形的比较 272
9.4 动手练习：音频相似度分析 273
9.5 上机练习题 276
第 10 章 PyTorch模型可视化 278
10.1 Visdom 278
10.1.1 Visdom简介 278
10.1.2 Visdom可视化操作 280
10.1.3 动手练习：识别手写数字 296
10.2 TensorBoard 301
10.2.1 TensorBoard简介 301
10.2.2 TensorBoard基础操作 303
10.2.3 动手练习：可视化模型参数 312
10.3 Pytorchviz 314
10.3.1 Pytorchviz简介 314
10.3.2 动手练习：Pytorchviz建模可视化 314
10.4 Netron 317
10.4.1 Netron简介 317
10.4.2 动手练习：Netron建模可视化 317
10.5 上机练习题 321
第 11 章 从深度学习到大语言模型 323
11.1 大语言模型的原理 323
11.1.1 大语言模型简介 323
11.1.2 Transformer架构 324
11.1.3 注意力机制 327
11.2 主要的大语言模型 331
11.2.1 ChatGPT及其API调用 331
11.2.2 文心一言及其插件开发 334
11.2.3 ChatGLM及其本地部署 338
11.3 模型预训练与微调 350
11.3.1 大模型预训练 350
11.3.2 大模型微调技术 353
11.4 上机练习题 361
参考文献 363