深度学习理论与实战:基础篇

目录 第 1 章 人工智能的基本概念 1 1.1 人工智能的发展历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3 常见的监督学习模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.4 衡量指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.5 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.6 优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.7 过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.8 机器学习示例：线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 第 2 章 神经网络 27 2.1 手写数字识别问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.2 单个神经元和多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.3 用代码实战多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.4 多层神经网络构建代码解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.5 反向传播算法的推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.6 代码实现反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.7 为什么反向传播算法是一个高效的算法 . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.8 优化技巧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 第 3 章 卷积神经网络 59 3.1 卷积神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.2 局部感知域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.3 特征映射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3.4 池化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.5 构建完整的卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.6 填充和步长 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.7 CNN 识别 MNIST 手写数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.8 CNN 模型识别 CIFAR-10 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.9 使用残差网络识别 MNIST 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 第 4 章 循环神经网络 101 4.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2 RNN 的扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 4.3 Word Embedding 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4.4 姓名分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 4.5 RNN 生成莎士比亚风格句子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.6 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 4.7 汉语―英语翻译的批量训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 第 5 章 生成对抗网络 156 5.1 为什么研究生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 5.2 生成模型的原理以及 GAN 与其他生成模型的区别 . . . . . . . . . . . . . . . . . . . 159 5.3 GAN 的原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 5.4 深度卷积生成对抗网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 5.5 反卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 5.6 DCGAN 实战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 第 6 章 TensorFlow 196 6.1 TensorFlow 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 6.2 Opitimizer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 6.3 数据的处理和输入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 6.4 常见网络结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250 6.5 RNN 在 TensorFlow 中的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 6.6 TensorBoard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 6.7 高层 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 6.8 调试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 6.9 TensorFlow Serving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 第 7 章 PyTorch 343 7.1 基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 7.2 PyTorch 神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 7.3 训练一个分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 7.4 使用 NumPy 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 7.5 使用 Tensor 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 7.6 使用 autograd 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 7.7 使用自定义的 ReLU 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 7.8 和 TensorFlow 的对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 7.9 使用 nn 模块实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 7.10 使用 optim 包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372 7.11 自定义 nn 模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 7.12 流程控制和参数共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374 7.13 迁移学习示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 7.14 数据的加载和预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 第 8 章 Keras 393 8.1 Keras 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 8.2 Hello World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 8.3 Sequential API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 8.4 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398 8.5 两分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400 8.6 1D 卷积进行序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400 8.7 多层 LSTM 序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 8.8 有状态的 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 8.9 Functional API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 8.10 判断两个数字是否是同一个数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 8.11 图片问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 8.12 视频问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413