PYTORCH实战

第1部分 PyTorch概述
第 1 章 使用PyTorch概述深度学习 003
1.1 技术要求 005
1.2 回顾深度学习 005
1.2.1 激活函数 011
1.2.2 优化模式 014
1.3 探索PyTorch库 018
1.3.1 PyTorch模块 019
1.3.2 Tensor模块 021
1.4 使用PyTorch训练神经网络 025
1.5 总结 033
第 2 章 结合CNN和LSTM 035
2.1 技术要求 036
2.2 使用CNN和LSTM构建神经网络 036
2.3 使用PyTorch构建图像文字描述生成器 038
2.3.1 下载图像文字描述数据集 039
2.3.2 预处理文字描述（文本）数据 041
2.3.3 预处理图像数据 043
2.3.4 定义图像文字描述数据加载器 045
2.3.5 定义CNN-LSTM模型 047
2.3.6 训练CNN-LSTM模型 050
2.3.7 使用已经训练的模型生成图像文字描述 054
2.4 总结 057
第2部分 使用高级神经网络架构
第 3 章 深度CNN架构 061
3.1 技术要求 062
3.2 为什么CNN如此强大？ 062
3.3 CNN架构的演变 065
3.4 从零开始开发LeNet 068
3.4.1 使用PyTorch构建LeNet 070
3.4.2 训练LeNet 076
3.4.3 测试LeNet 077
3.5 微调AlexNet模型 079
3.6 运行预训练的VGG模型 090
3.7 探索GoogLeNet和Inception v3 094
3.7.1 Inception模块 094
3.7.2 1×1卷积 097
3.7.3 全局平均池化 097
3.7.4 辅助分类器 097
3.7.5 Inception v3 099
3.8 讨论ResNet和DenseNet架构 102
3.9 了解EfficientNets和CNN架构的未来 109
3.10 总结 111
第 4 章 深度循环模型架构 113
4.1 技术要求 114
4.2 探索循环网络的演变 115
4.2.1 循环神经网络的类型 115
4.2.2 RNN 117
4.2.3 双向RNN 118
4.2.4 LSTM 119
4.2.5 扩展和双向LSTM 121
4.2.6 多维RNN 121
4.2.7 堆叠LSTM 122
4.2.8 GRU 123
4.2.9 Grid LSTM 124
4.2.10 门控正交循环单元 124
4.3 训练RNN进行情感分析 124
4.3.1 加载和预处理文本数据集 125
4.3.2 实例化和训练模型 131
4.4 构建双向LSTM 137
4.4.1 加载和预处理文本数据集 137
4.4.2 实例化和训练LSTM模型 139
4.5 讨论GRU和基于注意力的模型 141
4.5.1 GRU和PyTorch 142
4.5.2 基于注意力的模型 142
4.6 总结 144
第 5 章 混合高级模型 146
5.1 技术要求 147
5.2 构建用于语言建模的Transformer模型 147
5.2.1 回顾语言建模 147
5.2.2 理解Transforms模型架构 148
5.3 从头开始开发RandWireNN模型 160
5.3.1 理解RandWireNN 161
5.3.2 使用PyTorch开发RandWireNN 162
5.4 总结 174
第3部分 生成模型和深度强化学习
第 6 章 使用PyTorch生成音乐和文本 179
6.1 技术要求 180
6.2 使用PyTorch构建基于Transformer的文本生成器 180
6.2.1 训练基于Transformer的语言模型 181
6.2.2 保存和加载语言模型 182
6.2.3 使用语言模型生成文本 182
6.3 使用预训练的GPT-2模型作为文本生成器 184
6.3.1 使用GPT-2生成便捷的文本 184
6.3.2 使用PyTorch的文本生成策略 185
6.4 使用PyTorch与LSTM生成MIDI音乐 192
6.4.1 加载MIDI音乐数据 193
6.4.2 定义LSTM模型和训练例程 197
6.4.3 训练和测试音乐生成模型 199
6.5 总结 202
第 7 章 神经风格转移 204
7.1 技术要求 205
7.2 理解如何在图像之间传递风格 205
7.3 使用PyTorch实现神经风格迁移 209
7.3.1 加载内容图像和风格图像 209
7.3.2 构建神经风格迁移模型 213
7.3.3 训练风格迁移模型 214
7.3.4 尝试风格迁移系统 219
7.4 总结 222
第 8 章 深度卷积GAN 224
8.1 技术要求 225
8.2 定义生成器和判别器网络 226
8.3 使用PyTorch训练DCGAN 229
8.3.1 定义生成器 229
8.3.2 定义判别器 232
8.3.3 加载图像数据集 233
8.3.4 DCGAN的训练循环 234
8.4 使用GAN进行风格迁移 239
8.5 总结 248
第 9 章 深度强化学习 249
9.1 技术要求 250
9.2 回顾强化学习概念 251
9.2.1 强化学习算法类型 253
9.3 讨论Q-学习 256
9.4 理解深度Q-学习 261
9.4.1 使用两个独立的DNN 262
9.4.2 经验回放缓冲器 262
9.5 在PyTorch中构建DQN模型 263
9.5.1 初始化主和目标CNN模型 263
9.5.2 定义经验回放缓冲区 266
9.5.3 设置环境 267
9.5.4 定义CNN优化函数 269
9.5.5 管理和运行迭代 270
9.5.6 训练DQN模型以学习Pong 273
9.6 总结 277
第4部分 生产系统中的PyTorch
第 10 章 将PyTorch模型投入生产中 281
10.1 技术要求 282
10.2 PyTorch中的模型服务 283
10.2.1 创建PyTorch模型推理流水线 283
10.2.2 构建基本模型服务器 290
10.2.3 创建模型微服务 298
10.3 使用TorchServe为PyTorch模型提供服务 304
10.3.1 安装TorchServe 305
10.3.2 启动和使用TorchServe服务器 305
10.4 使用TorchScript和ONNX导出通用PyTorch模型 310
10.4.1 了解TorchScript的功能 310
10.4.2 使用TorchScript进行模型跟踪 311
10.4.3 使用TorchScript编写模型脚本 315
10.4.4 在C 中运行PyTorch模型 318
10.4.5 使用ONNX导出PyTorch模型 322
10.5 在云端提供PyTorch模型 325
10.5.1 将PyTorch与AWS结合使用 326
10.5.2 在Google Cloud上提供PyTorch模型 330
10.5.3 使用Azure为PyTorch模型提供服务 332
10.6 总结 334
参考资料 335
第 11 章 分布式训练 337
11.1 技术要求 338
11.2 使用PyTorch进行分布式训练 338
11.2.1 以常规方式训练MNIST模型 339
11.2.2 以分布式方式训练MNIST模型 342
11.3 使用CUDA在GPU上进行分布式训练 350
11.4 总结 353
第 12 章 PyTorch和AutoML 355
12.1 技术要求 355
12.2 使用AutoML寻找*佳神经架构 356
12.3 使用Optuna进行超参数搜索 365
12.4 定义模型架构和加载数据集 366
12.4.1 定义模型训练例程和优化计划 369
12.4.2 运行Optuna的超参数搜索 370
12.5 总结 373
第 13 章 PyTorch和AI可解释 375
13.1 技术要求 376
13.2 PyTorch中的模型可解释性 376
13.2.1 训练手写数字分类器—回顾 376
13.2.2 可视化模型的卷积过滤器 379
13.2.3 可视化模型的特征图 381
13.3 使用Captum解释模型 384
13.3.1 设置Captum 384
13.3.2 探索Captum的可解释性工具 386
13.4 总结 390
第 14 章 使用PyTorch进行快速原型设计 391
14.1 技术要求 392
14.2 使用fast.ai快速设置模型训练 392
14.2.1 设置fast.ai并加载数据 393
14.2.2 使用fast.ai训练MNIST模型 395
14.2.3 使用fast.ai评估和解释模型 397
14.3 在任何硬件上使用PyTorch Lightning训练模型 399
14.3.1 在PyTorch Lightning中定义模型组件 399
14.3.2 使用PyTorch Lightning训练并评估模型 401
14.4 总结 405