基于TENSORFLOW的深度学习:神经网络、计算机视觉和NLP的理论与实践

CONTENTS 目 录 推荐序一 推荐序二 前言 第1章 Rosenblatt 感知器 1 1.1 双输入感知器示例 3 1.2 感知器学习算法 4 1.3 感知器的局限性 9 1.4 组合多个感知器 11 1.5 感知器的几何解释 13 1.6 理解偏差项 14 第２章 基于梯度的学习 16 2.1 感知器学习算法的直观解释 16 2.2 用梯度下降法解决学习问题 18 2.3 网络中的常量与变量 20 2.4 感知器学习算法的解析 20 2.5 感知器学习算法的几何描述 22 2.6 重新审视不同类型的感知器 22 2.7 使用感知器进行模式识别 24 第3章 Sigmoid神经元与反向传播 26 3.1 改进的神经元实现多层网络的梯度下降 26 3.2 激活函数的选择 30 3.3 复合函数和链式法则 30 3.4 利用反向传播计算梯度 31 3.4.1 前向传播阶段 37 3.4.2 后向传播阶段 37 3.4.3 权重调整 38 3.5 每层具有多个神经元的反向传播 39 3.6 编程示例：学习XOR函数 40 3.7 网络结构 43 第４章 用于多分类的全连接网络 45 4.1 训练网络时所用数据集简介 45 4.1.1 探索数据集 46 4.1.2 数据集中的人为偏见 48 4.1.3 训练集、测试集和泛化 49 4.1.4 超参数调优和测试集信息泄漏 50 4.2 训练与推理 51 4.3 扩展网络和学习算法以进行多分类 51 4.4 用于数字分类的网络 52 4.5 多分类的损失函数 52 4.6 编程示例：手写数字分类 53 4.7 小批量梯度下降 60 第5章 走向DL：框架和网络调整 61 5.1 编程示例：转移到DL框架 61 5.2 饱和神经元和梯度消失问题 65 5.3 避免神经元饱和的初始化和归一化技术 66 5.3.1 权重初始化 67 5.3.2 输入标准化 68 5.3.3 批归一化 68 5.4 用于缓解饱和输出神经元影响的交叉熵损失函数 69 5.5 使用不同激活函数以避免隐藏层中梯度消失问题 73 5.6 提高学习的梯度下降法中的变量 76 5.7 实验：调整网络和学习参数 78 5.8 超参数调优和交叉验证 80 5.8.1 使用验证集来避免过拟合 81 5.8.2 交叉验证以改善训练数据的使用 81 第6章 全连接网络在回归中的应用 83 6.1 输出单元 83 6.1.1 二元分类的逻辑单元 84 6.1.2 用于多分类的Softmax单元 84 6.1.3 线性回归单元 86 6.2 波士顿住房数据集 87 6.3 编程示例：用DNN预测房价 88 6.4 用正则化改进泛化 91 6.5 实验：更深层次和正则化的房价预测模型 93 第7章 卷积神经网络在图像分类中的应用 94 7.1 CIFAR-10数据集 95 7.2 卷积层的特征和构建模块 97 7.3 将特征映射组合成一个卷积层 99 7.4 将卷积层和全连接层结合成一个网络 100 7.5 稀疏连接和权重共享的影响 102 7.6 编程示例：用卷积网络进行图像分类 105 第8章 深度卷积神经网络和预训练模型 113 8.1 VGGNet 113 8.2 GoogLeNet 116 8.3 ResNet 119 8.4 编程示例：使用预先训练的ResNet实现 124 8.5 迁移学习 126 8.6 CNN和池化的反向传播 128 8.7 正则化技术的数据增强 128 8.8 CNN的局限性 129 8.9 用深度可分离卷积进行参数约简 130 8.10 用高效网络实现正确的网络设计平衡 131 第9章 用循环神经网络预测时间序列 132 9.1 前馈网络的局限性 134 9.2 循环神经网络 135 9.3 循环层的数学表示 135 9.4 将图层组合成一个RNN 136 9.5 RNN的另一视图并按时间展开 137 9.6 基于时间的反向传播 138 9.7 编程示例：预测图书销量 140 9.7.1 标准化数据并创建训练示例 144 9.7.2 创建一个简单的RNN 145 9.7.3 与无循环网络的比较 148 9.7.4 将示例扩展为多输入变量 149 9.8 RNN的数据集注意事项 149 第10章 长短期记忆 151 10.1 保持梯度健康 151 10.2 LSTM介绍 154 10.3 LSTM激活函数 157 10.4 创建LSTM单元构成的网络 157 10.5 LSTM的其他理解 158 10.6 相关话题：高速神经网络和跳连接 159 第11章 使用LSTM和集束搜索自动补全文本 161 11.1 文本编码 161 11.2 长期预测和自回归模型 162 11.3 集束搜索 163 11.4 编程示例：使用LSTM实现文本自动补全 164 11.5 双向RNN 169 11.6 输入和输出序列的不同组合 170 第12章 神经语言模型和词嵌入 172 12.1 语言模型介绍及其用例简介 172 12.2 不同语言模型的例子 174 12.2.1 n-gram模型 174 12.2.2 skip-gram模型 176 12.2.3 神经语言模型 176 12.3 词嵌入的好处及对其工作方式的探究 178 12.4 基于神经语言模型创建词嵌入 179 12.5 编程示例：神经语言模型和产生的嵌入 182 12.6 King–Man + Woman! = Queen 188 12.7 King–Man+Woman != Queen 190 12.8 语言模型、词嵌入和人类偏见 190 12.9 相关话题：文本情感分析 191 12.9.1 词袋法和N元词袋法 192 12.9.2 相似性度量 194 12.9.3 组合BoW和深度学习 195 第13章 Word2vec和GloVe的词嵌入 197 13.1 使用Word2vec在没有语言模型的情况下创建词嵌入 197 13.1.1 与语言模型相比降低计算复杂性 198 13.1.2 连续词袋模型 199 13.1.3 连续skip-gram模型 199 13.1.4 进一步降低计算复杂度的优化连续skip-gram模型 200 13.2 关于Word2vec的其他思考 201 13.3 矩阵形式的Word2vec 202 13.4 Word2vec总结 203 13.5 编程示例：探索GloVe嵌入的属性 204 第14章 序列到序列网络和自然语言翻译 209 14.1 用于序列到序列学习的编-解码器模型 210 14.2 Keras函数式API简介 212 14.3 编程示例：神经机器翻译 214 14.4 实验结果 226 14.5 中间表示的性质 227 第15章 注意力机制和Transformer架构 229 15.1 注意力机制的基本原理 229 15.2 序列到序列网络中的注意力机制 230 15.2.1 计算对齐向量 234 15.2.2 对齐向量上的数学符号与变量 235 15.2.3 关注更深层的网络 236 15.2.4 其他注意事项 237 15.3 循环网络的替代方法 238 15.4 自注意力 239 15.5 多头注意力 240 15.6 Transformer架构 241 第16章 用于图像字幕的一对多网络 245 16.1 用注意力扩展图像字幕网络 247 16.2 编程示例：基于注意力的图像字幕 248 第17章 其他主题 264 17.1 自编码器 264 17.1.1 自编码器的使用案例 265 17.1.2 自编码器的其他方面 266 17.1.3 编程示例：用于异常值检测的自编码器 267 17.2 多模态学习 272 17.2.1 多模态学习的分类 272 17.2.2 编程示例：使用多模态输入数据进行分类 275 17.3 多任务学习 279 17.3.1 为什么要执行多任务学习 279 17.3.2 如何实现多任务学习 279 17.3.3 其他方向和变体的基本实现 280 17.3.4 编程示例：多分类和用单一网络回答问题 281 17.4 网络调优过程 284 17.5 神经网络架构搜索 287 17.5.1 神经网络架构搜索的关键组成部分 287 17.5.2 编程示例：搜索一个用于CIFAR-10分类的架构 290 17.5.3 神经架构搜索的内在含义 300 第18章 总结和未来展望 301 18.1 你现在应该知道的事情 301 18.2 伦理AI和数据伦理 302 18.2.1 需要注意的问题 303 18.2.2 问题清单 304 18.3 你还不知道的事情 305 18.3.1 强化学习 305 18.3.2 变分自编码器和生成对抗网络 305 18.3.3 神经风格迁移 306 18.3.4 推荐系统 307 18.3.5 语音模型 307 18.4 未来展望 307 附录A 线性回归和线性分类 309 A.1 机器学习算法：线性回归 309 A.1.1 一元线性回归 309 A.1.2 多元线性回归 310 A.1.3 用线性函数建模曲率 311 A.2 计算线性回归系数 312 A.3 逻辑回归分类 313 A.4 用线性分类器对XOR进行分类 314 A.5 支持向量机分类 317 A.6 二元分类器的评价指标 318 附录B 目标检测和分割 321 B.1 目标检测 321 B.1.1 R-CNN 322 B.1.2 Fast R-CNN 324 B.1.3 Faster R-CNN 325 B.2 语义分割 327 B.2.1 上采样技术 328 B.2.2 反卷积网络 332 B.2.3 U-Net 333 B.3 Mask R-CNN 实例分割 334 附录C Word2vec和GloVe之外的词嵌入 337 C.1 Wordpieces 337 C.2 FastText 339 C.3 基于字符的方法 339 C.4 ELMo 343 C.5 相关工作 345 附录D GPT、BERT和 RoBERTa 346 D.1 GPT 346 D.2 BERT 349 D.2.1 掩码语言模型任务 349 D.2.2 下一句预测任务 350 D.2.3 BERT的输入输出表示 351 D.2.4 BERT在NLP任务中的应用 352 D.3 RoBERTa 352 D.4 GPT和BERT的前期工作 354 D.5 基于Transformer的其他模型 354 附录E Newton-Raphson法与梯度下降法 356 E.1 Newton-Raphson求根法 356 E.2 Newton-Raphson法与梯度下降法的关系 358 附录F 数字分类网络的矩阵实现 359 F.1 单一矩阵 359 F.2 小批量实现 361 附录G 卷积层与数学卷积的关系 365 附录H 门控循环单元 369 H.1 GRU的替代实现 371 H.2 基于GRU的网络 371 附录I 搭建开发环境 374 I.1 Python 374 I.2 编程环境 375 I.2.1 Jupyter Notebook 375 I.2.2 使用集成开发环境 375 I.3 编程示例 376 I.4 数据集 376 I.4.1 MNIST数据集 377 I.4.2 来自美国人口普查局的书店销售数据 377 I.4.3 古腾堡工程的FRANKENSTEIN文本 378 I.4.4 GloVe词嵌入 378 I.4.5 ANKI双语句子对 378 I.4.6 COCO数据集 378 I.5 安装深度学习框架 378 I.5.1 系统安装 378 I.5.2 虚拟环境安装 379 I.5.3 GPU加速 379 I.5.4 Docker容器 379 I.5.5 使用云服务 380 I.6 TensorFlow具体注意事项 380 I.7 PyTorch与TensorFlow的关键区别 380 I.7.1 需要编写我们自己的拟合/训练函数 381 I.7.2 NumPy和PyTorch之间的数据显式移动 381 I.7.3 CPU和GPU之间的数据显式传输 382 I.7.4 明确区分训练和推理 382 I.7.5 顺序式API与函数式API 382 I.7.6 缺乏编译功能 383 I.7.7 循环层和状态处理 383 I.7