包邮设计深度学习系统

目　　录译者序序前言深度学习系统架构参考第1章　深度学习系统介绍　11.1　深度学习开发周期　31.1.1　深度学习产品开发周期的阶段　41.1.2　开发周期中的角色　71.1.3　深度学习开发周期实例演练　91.1.4　项目开发的规模化　101.2　深度学习系统设计概述　10目　　录译者序序前言深度学习系统架构参考第1章　深度学习系统介绍　11.1　深度学习开发周期　31.1.1　深度学习产品开发周期的阶段　41.1.2　开发周期中的角色　71.1.3　深度学习开发周期实例演练　91.1.4　项目开发的规模化　101.2　深度学习系统设计概述　101.2.1　参考系统架构　111.2.2　关键组件　121.2.3　关键用户场景　161.2.4　定制你自己的设计　171.2.5　在Kubernetes上构建组件　191.3　构建深度学习系统与开发模型之间的区别　20总结　21第2章　数据集管理服务　222.1　理解数据集管理服务　232.1.1　为什么深度学习系统需要数据集管理　232.1.2　数据集管理设计原则　262.1.3　数据集的悖论特性　282.2　浏览一个示例数据集管理服务　292.2.1　与示例服务互动　292.2.2　用户、用户场景和整体架构　352.2.3　数据摄取API　362.2.4　训练数据集获取API　402.2.5　内部数据集存储　452.2.6　数据模式　482.2.7　添加新的数据集类型（IMAGE_CLASS）　502.2.8　服务设计回顾　512.3　开源方法　522.3.1　Delta Lake和Apache Spark家族的Petastorm　522.3.2　基于云对象存储的Pachyderm　58总结　61第3章　模型训练服务　633.1　模型训练服务：设计概述　643.1.1　为什么要使用模型训练服务　643.1.2　训练服务设计原则　663.2　深度学习训练代码模式　673.2.1　模型训练工作流　673.2.2　将模型训练代码Docker化为黑盒　683.3　一个示例模型训练服务　693.3.1　与服务进行交互　693.3.2　服务设计概述　703.3.3　训练服务API　723.3.4　启动新的训练作业　733.3.5　更新和获取作业状态　753.3.6　意图分类模型训练代码　783.3.7　训练作业管理　793.3.8　故障排除指标　803.3.9　支持新的算法或新版本　813.4　Kubeflow训练算子：开源方法　813.4.1　Kubeflow训练算子　823.4.2　Kubernetes算子/控制器模式　823.4.3　Kubeflow训练算子设计　833.4.4　如何使用Kubeflow训练算子　843.4.5　如何将这些算子集成到现有系统中　863.5　何时使用公有云　873.5.1　何时使用公有云解决方案　873.5.2　何时构建自己的训练服务　87总结　89第4章　分布式训练　904.1　分布式训练方法的类型　904.2　数据并行　914.2.1　理解数据并行　914.2.2　多工作节点训练挑战　934.2.3　不同训练框架的分布式训练（数据并行）代码编写　944.2.4　数据并行–分布式训练中的工程化努力　984.3　支持数据并行–分布式训练的示例服务　1004.3.1　服务概述　1004.3.2　与服务进行交互　1014.3.3　启动训练作业　1034.3.4　更新和获取作业状态　1064.3.5　将训练代码转换为分布式运行　1074.3.6　进一步改进　1084.4　训练无法在单个GPU上加载的大模型　1084.4.1　传统方法：节省内存　1084.4.2　流水线模型并行　1104.4.3　软件工程师如何支持流水线并行训练　115总结　115第5章　超参数优化服务　1175.1　理解超参数　1185.1.1　什么是超参数　1185.1.2　超参数为什么重要　1185.2　理解超参数优化　1195.2.1　什么是HPO　1195.2.2　热门的HPO算法　1215.2.3　常见的自动HPO方法　1255.3　设计一个HPO服务　1265.3.1　HPO设计原则　1275.3.2　通用HPO服务设计　1285.4　开源HPO库　1295.4.1　Hyperopt　1305.4.2　Optuna　1315.4.3　Ray Tune　1335.4.4　后续步骤　136总结　136第6章　模型服务设计　1376.1　模型服务的解释　1386.1.1　什么是机器学习模型　1386.1.2　模型预测和推理　1396.1.3　什么是模型服务　1396.1.4　模型服务的挑战　1406.1.5　模型服务术语　1416.2　常见的模型服务策略　1426.2.1　直接模型嵌入　1426.2.2　模型服务　1436.2.3　模型服务器　1436.3　设计预测服务　1446.3.1　单一模型应用　1446.3.2　多租户应用　1476.3.3　在一个系统中支持多个应用程序　1486.3.4　常见的预测服务需求　151总结　151第7章　模型服务实践　1527.1　模型服务示例　1527.1.1　运行示例服务　1537.1.2　服务设计　1547.1.3　前端服务　1557.1.4　意图分类预测器　1597.1.5　模型驱逐　1657.2