码农的零门槛AI课:基于FASTAI与PYTORCH的深度学习

前言......xxi 序......xxvii 第Ⅰ部分　上手实践深度学习 第 1 章　你的深度学习之旅........ 3 人人都可以学会深度学习 ...... 3 神经网络简史 .......... 5 作者介绍 ............... 8 如何学习深度学习 ......... 9 你的项目和思维模式 .......... 11 构建模型相关的库和运行环境 ：PyTorch、fastai 和 Jupyter（它们都不重要） .... 12 你的**个模型 .............. 14 找一台拥有合适 GPU 的计算机用于深度学习 ....... 14 运行你的**个 notebook ..........15 什么是机器学习 ................20 什么是神经网络 ............ 23 一些深度学习的术语 ......... 24 机器学习的局限性 ............ 25 图像识别器工作的方式 ....... 27 图像识别器在学习什么 ..................33 图像识别器可处理非图像任务 ....... 36 术语回顾 ................ 39 深度学习不仅仅用于图像分类 .......... 41 验证集和测试集 .............. 48 根据判断定义测试集 ..................50 选择你想要冒险探索的方向 .......... 53 问题 .....................54 深入研究 ....................... 55 第 2 章　从模型到输出..... 56 深度学习的实践 .............56 开始你的项目 ............... 57 深度学习的研究进展 ........58 传动系统方法 .........62 收集数据 ................ 63 从数据到数据加载器 ........ 68 数据增强 ............ 72 训练模型，并使用模型进行数据清洗 ......73 将模型转换为在线应用程序 ........ 76 使用模型进行推理 ............ 76 从模型创建 notebook 应用 ...........78 让 notebook 成为一个真正的应用程序 ....... 80 部署你的应用程序 ........ 81 如何避免灾难 ...............84 不可预见的后果和反馈回路 ...... 86 写下来 ............. 87 问题 ................ 88 深入研究 ............... 89 第 3 章　数据伦理.........90 数据伦理的主要案例 .......... 91 各种 Bug 和追索权 ：漏洞百出的医疗保健福利算法 ..... 92 反馈回路 ：YouTube 的推荐系统 ........... 92 偏见 ：拉塔尼亚 · 斯威尼“已被捕” ........ 92 为什么伦理如此重要 ......... 93 在产品设计中结合机器学习 .. 96 数据伦理专题 .......... 97 追索权和问责制 ........ 98 反馈回路 ........... 98 偏见 ........... 101 谣言 .................111 识别和解决伦理问题 ......... 112 分析你正在做的项目 ........ 113 落地流程 ....... 113 多元的力量........ 115 公平、问责和透明 ....... 116 政策的作用 ...... 117 监管的有效性 ....... 118 权利与政策.........118 汽车 ：前车之鉴 ....... 119 结论 ........ 119 问题 ........... 120 深入研究 .............. 121 上手实践深度学习 ：圆满完成 ...... 122 第Ⅱ部分　理解 fastai 的应用 第 4 章　深入探索谜底 ：训练数字分类器.........125 像素 ：计算机视觉的基础 .......... 125 **次尝试 ：像素相似度 ............. 129 Numpy 数组和 PyTorch 张量............. 134 使用广播机制计算指标............ 136 随机梯度下降法 ............ 140 梯度计算 .............. 144 通过学习率迭代 ............... 146 一个直观的随机梯度下降案例 ............ 148 梯度下降的总结 ................ 153 MNIST 损失函数 ............. 154 sigmoid .............. 160 随机梯度下降及小批次 ............. 161 将它们集成在一起 ............ 162 创建一个优化器 ........... 166 增加一个非线性特征 .......... 168 更深入一些...... 172 术语回顾 ........... 172 问题 ................ 174 深入研究 ................ 175 第 5 章 　图像分类...........176 从猫狗识别到宠物分类............ 176 图像尺寸的预处理 ......... 179 检查和调试数据块 ............ 182 交叉熵损失 ......... 184 查看激活值和标签 ............ 185 softmax ............... 186 对数似然 ........ 189 使用对数函数 .......... 191 模型解释 ......... 193 改进我们的模型 ........... 195 学习率查找器 .......... 195 解冻与迁移学习 .... 197 区别学习率........... 199 选择训练的周期数 ..... 202 更深的网络架构 .......... 202 结论 ........... 204 问题 ........... 205 深入研究 ............ 206 第 6 章　其他计算机视觉问题........207 多标签分类 ...... 207 数据 ............. 208 构建数据块.......... 210 二元交叉熵........ 214 回归 ............. 219 配置数据 .......... 220 训练模型 ....... 223 结论 ......... 225 问题 ......... 225 深入研究 ............ 226 第 7 章　训练*高水准的模型..........227 Imagenette ....... 227 标准化 ............ 229 渐进式调整尺寸 ....... 231 测试期的数据增强 ....... 233 Mixup ...... 234 标签平滑 ......... 237 结论 ......... 239 问题 ............. 239 深入研究 ..... 240 第 8 章　深入协同过滤.......241 了解数据 ........... 242 学习潜在特征 ............ 244 创建 DataLoaders ........... 245 从头开始进行协同过滤.......... 248 权重衰减 ............... 251 创建我们自己的嵌入模块 .... 253 嵌入和偏差的解释 ......... 255 使用 fastai.collab .......... 257 嵌入距离 ................ 257 启动协同过滤模型的自助取样 ...... 258 用于协同过滤的深度学习 ...... 259 结论 ............ 262 问题 ....... 262 深入研究 .......... 263 第 9 章　深入学习表格建模.......264 分类嵌入 ......... 264 超越深度学习 ..... 269 数据集 .......... 270 Kaggle 竞赛 .. 270 查看数据 ....... 272 决策树 ......... 274 处理日期 .......... 275 使用 TabularPandas 和 TabularProc .... 276 创建决策树...... 279 分类变量 ....... 283 随机森林 ....... 284 创建一个随机森林 ...... 285 out-of-bag error .... 287 模型解释 ......... 288 树预测置信度的方差 ...... 288 特征重要性........... 289 删除低重要性特征 .... 290 删除冗余特征 ....... 291 部分依赖 ......... 294 数据泄露 .......... 296 树解释器 ....... 298 外推与神经网络 ... 299 外推问题 ...... 299 查找域外数据 ... 301 使用神经网络 ....... 303 集成 ....... 307 boosting ......... 308 将嵌入与其他方法相结合 ..... 309 结论 ........ 310 问题 ......... 311 深入研究 ...... 312 第 10 章　NLP 深度探究 ：RNN.......313 文本预处理 ....... 314 分词 ....... 316 用 fastai 进行分词 ....... 316 根据子词分词 .......... 320 使用 fastai 进行数值化 .......... 322 将文本分批作为语言模型的输入 ....... 323 训练文本分类器 ........... 326 使用数据块来训练语言模型 ....... 326 微调语言模型 ....... 328 保存和加载模型 ......... 329 文本生成 ....... 330 创建分类器的数据加载器 ........... 331 微调分类模型 ............. 333 虚假信息和语言模型 ............... 334 结论 ......... 337 问题 .............. 337 深入研究 ............. 338 第 11 章　使用 fastai 的中间层 API 来处理数据............339 深入研究 fastai 的分层 API .......... 339 转换 .............. 340 编写自定义转换 ........... 342 管道 .............. 343 TfmdLists 和 Dataset ：转换后的集合 ........ 343 TfmdLists ........... 344 Datasets ........ 346 应用中间层数据 API ：孪生体（Siamese Pair） ....... 348 结论 ........... 352 问题 ......... 352 深入研究 ............. 353 理解 fastai 的应用 ：总结 ........ 353 第Ⅲ部分　深度学习基础 第 12 章　从零开始制作语言模型.......................357 数据 ............................................ 357 从零开始构建你的**个语言模型 ............. 359 PyTorch 语言模型 ....................... 360 我们的**个循环神经网络 .............. 363 改进 RNN ................................... 364 维持 RNN 的状态 ................... 365 创建更多的标志 ......................... 368 多层循环神经网络 .......................... 370 模型 ............................... 371 激活值消失 / 爆炸 ................. 372 LSTM .......................................... 373 从零开始构建 LSTM ....................... 374 使用 LSTM 训练一个语言模型 .............. 377 对 LSTM 进行正则化 ................. 378 dropout ........................................... 378 激活单元正则化和时序激活单元正则化 .............. 380 训练一个权重绑定正则化 LSTM ...................... 381 结论 ....................................... 382 问题 .................................... 383 深入研究 ....................................... 385 第 13 章　卷积神经网络............................386 卷积的魔力 ............................ 386 应用一个卷积核 ............................... 389 PyTorch 中的卷积 ................391 步长和填充............................ 393 理解卷积方程 ................................. 395 我们的**个卷积神经网络 .................... 397 创建 CNN .................................... 397 理解卷积运算 ................................. 401 感受野 ........................................ 402 关于 Twitter 的提示 ........................ 403 彩色图像 .................................... 405 改善训练稳定性 .................... 408 简单基准 .............................. 409 增加批次大小 ....................... 411 1 周期训练 ......................... 412 批次归一化..................... 417 结论 ................................. 419 问题 .............................. 420 深入研究 ............................ 421 第 14 章　ResNet.......................422 回到 Imagenette ................... 422 建立现代 CNN ：ResNet .............. 425 跳连 ............................... 426 *先进的 ResNet ................ 431 瓶颈层 .............. 434 结论 .................. 436 问题 ......................... 436 深入研究 .............................. 438 第 15 章　深入研究应用架构..........439 计算机视觉 ............................ 439 cnn_learner ....................... 439 unet_learner .......................... 441 Siamese 网络 .......................... 443 自然语言处理 .......................... 445 表格 ............................... 446 结论 ................................ 447 问题 .................................. 449 深入研究 .......................... 450 第 16 章　训练过程...................451 建立基线 .............................. 451 通用优化器 ........................... 453 动量 ................................. 454 RMSProp ................................ 457 Adam .......................... 458 解耦权重衰减 ........................ 459 回调 .................................. 460 创建一个回调函数 .................. 463 回调排序和异常 .................. 466 结论 ....................................... 468 问题 ......................... 468 深入研究 ...................... 469 深度学习基础 ：总结 ............. 469 第Ⅳ部分　从零开始学习深度学习 第 17 章　神经网络基础...................473 从零开始构建神经网络层 ................... 473 建立神经元模型 ............................ 473 从零开始进行矩阵乘法 ..................... 474 逐元素运算.................................. 476 广播 ............................................ 477 爱因斯坦求和 ............................... 482 前向和反向传播 ............................. 483 定义神经网络层并对其初始化 .............. 483 梯度和反向传播 .......................... 488 重构模型 ........................... 491 迈向 PyTorch ......................... 492 结论 .................................. 495 问题 ........ 496 深入研究 ................................. 497 第 18 章　用 CAM 做 CNN 的解释............498 CAM 和 hook .......... 498 梯度 CAM ............502 结论 .......... 504 问题 .................. 504 深入研究 ........... 504 第 19 章　从零开始构建 fastai Learner............505 数据 ............... 505 数据集 .......... 507 Module 和 Parameter ........... 510 简单的 CNN .................. 513 损失 ...... 514 Learner ........ 516 回调 ..... 518 调整学习率安排表 ...... 519 结论 ...... 522 问题 .......... 522 深入研究 ......... 523 第 20 章　总结.....................524 附录 A　创建一个博客.................527 附录 B　数据科学项目的检查表.........536