机器学习系统:设计和实现

目 录 基础篇 第1章 导论 003 1.1 机器学习应用 003 1.2 机器学习框架的设计目标 004 1.3 机器学习框架的基本组成原理 005 1.4 机器学习系统生态 006 1.5 本书结构和读者对象 007 第2章 编程模型 009 2.1 机器学习系统编程模型的演进 009 2.2 机器学习工作流 011 2.2.1 环境配置 011 2.2.2 数据处理 012 2.2.3 模型定义 013 2.2.4 损失函数和优化器 014 2.2.5 训练及保存模型 015 2.2.6 测试和验证 016 2.3 定义深度神经网络 017 2.3.1 以层为核心定义神经网络 017 2.3.2 神经网络层的实现原理 021 2.3.3 自定义神经网络层 022 2.3.4 自定义神经网络模型 023 2.4 C/C++编程接口 024 2.4.1 在Python中调用C/C++函数的原理 025 2.4.2 添加C++编写的自定义算子 025 2.5 机器学习框架的编程范式 030 2.5.1 机器学习框架编程需求 030 2.5.2 机器学习框架编程范式现状 030 2.5.3 函数式编程案例 031 2.6 总结 032 2.7 拓展阅读 032 第3章 计算图 033 3.1 设计背景和作用 033 3.2 计算图的基本构成 034 3.2.1 张量和算子 035 3.2.2 计算依赖 037 3.2.3 控制流 038 3.2.4 基于链式法则计算梯度 041 3.3 计算图的生成 043 3.3.1 静态生成 043 3.3.2 动态生成 046 3.3.3 动态图和静态图生成的比较 048 3.3.4 动态图与静态图的转换和融合 049 3.4 计算图的调度 051 3.4.1 算子调度执行 051 3.4.2 串行与并行 052 3.4.3 数据载入同步与异步机制 053 3.5 总结 054 3.6 拓展阅读 055 进阶篇 第4章 AI 编译器和前端技术 059 4.1 AI编译器设计原理 059 4.2 AI编译器前端技术概述 061 4.3 中间表示 062 4.3.1 中间表示的基本概念 062 4.3.2 中间表示的种类 063 4.3.3 机器学习框架的中间表示 065 4.4 自动微分 072 4.4.1 自动微分的基本概念 072 4.4.2 前向与反向自动微分 074 4.4.3 自动微分的实现 077 4.5 类型系统和静态分析 081 4.5.1 类型系统概述 081 4.5.2 静态分析概述 082 4.6 常见前端编译优化方法 083 4.6.1 前端编译优化简介 083 4.6.2 常见编译优化方法介绍及实现 083 4.7 总结 085 第5章 AI 编译器后端和运行时 086 5.1 概述 086 5.2 计算图优化 088 5.2.1 通用硬件优化 088 5.2.2 特定硬件优化 090 5.3 算子选择 091 5.3.1 算子选择的基础概念 091 5.3.2 算子选择的过程 095 5.4 内存分配 095 5.4.1 Device内存概念 096 5.4.2 内存分配 096 5.4.3 内存复用 098 5.4.4 常见的内存分配优化手段 099 5.5 计算调度与执行 101 5.5.1 单算子调度 101 5.5.2 计算图调度 102 5.5.3 交互式执行 106 5.5.4 下沉式执行 110 5.6 算子编译器 110 5.6.1 算子调度策略 111 5.6.2 子策略组合优化 112 5.6.3 调度空间算法优化 114 5.6.4 芯片指令集适配 115 5.6.5 算子表达能力 116 5.6.6 相关编译优化技术 117 5.7 总结 117 5.8 拓展阅读 118 第6章 硬件加速器 119 6.1 概述 119 6.1.1 硬件加速器设计的意义 119 6.1.2 硬件加速器设计的思路 119 6.2 硬件加速器基本组成原理 120 6.2.1 硬件加速器的架构 120 6.2.2 硬件加速器的存储单元 121 6.2.3 硬件加速器的计算单元 122 6.2.4 DSA芯片架构 124 6.3 加速器基本编程原理 125 6.3.1 硬件加速器的可编程性 125 6.3.2 硬件加速器的多样化编程方法 128 6.4 加速器实践 132 6.4.1 环境 132 6.4.2 广义矩阵乘法的朴素实现 133 6.4.3 提高计算强度 135 6.4.4 使用共享内存缓存复用数据 138 6.4.5 减少寄存器使用 139 6.4.6 隐藏共享内存读取延迟 140 6.4.7 隐藏全局内存读取延迟 141 6.4.8 与cuBLAS对比 142 6.4.9 小结 143 6.5 总结 143 6.6 拓展阅读 144 第7章 数据处理 145 7.1 概述 146 7.1.1 易用性 146 7.1.2 高效性 147 7.1.3 保序性 147 7.2 易用性设计 147 7.2.1 编程抽象与接口 147 7.2.2 自定义算子支持 151 7.3 高效性设计 153 7.3.1 数据读取的高效性 154 7.3.2 数据计算的高效性 157 7.4 保序性设计 162 7.5 单机数据处理性能的扩展 163 7.5.1 基于异构计算的数据预处理 163 7.5.2 基于分布式的数据预处理 165 7.6 总结 166 第8章 模型部署 168 8.1 概述 168 8.2 训练模型到推理模型的转换及优化 169 8.2.1 模型转换 169 8.2.2 算子融合 170 8.2.3 算子替换 172 8.2.4 算子重排 173 8.3 模型压缩 173 8.3.1 量化 174 8.3.2 模型稀疏 176 8.3.3 知识蒸馏 178 8.4 模型推理 179 8.4.1 前处理与后处理 179 8.4.2 并行计算 180 8.4.3 算子优化 181 8.5 模型的安全保护 186 8.5.1 概述 186 8.5.2 模型混淆 186 8.6 总结 188 8.7 拓展阅读 189 第9章 分布式训练 190 9.1 设计概述 190 9.1.1 设计动机 190 9.1.2 系统架构 191 9.1.3 用户益处 192 9.2 实现方法 192 9.2.1 方法分类 192 9.2.2 数据并行 194 9.2.3 模型并行 194 9.2.4 混合并行 197 9.3 流水线并行 197 9.4 机器学习集群架构 198 9.5 集合通信 200 9.5.1 常见集合通信算子 200 9.5.2 基于AllReduce的梯度平均算法 203 9.5.3 集合通信算法性能分析 205 9.5.4 利用集合通信优化模型训练的实践 206 9.5.5 集合通信在数据并行的实践 207 9.5.6 集合通信在混合并行的实践 208 9.6 参数服务器 210 9.6.1 系统架构 210 9.6.2 异步训练 211 9.6.3 数据副本 212 9.7 总结 212 9.8 拓展阅读 213 拓展篇 第10章 联邦学习系统 217 10.1 概述 217 10.1.1 定义 217 10.1.2 应用场景 217 10.1.3 部署场景 218 10.1.4 常用框架 218 10.2 横向联邦学习 219 10.2.1 云云场景中的横向联邦 219 10.2.2 端云场景中的横向联邦 220 10.3 纵向联邦学习 222 10.3.1 纵向联邦架构 222 10.3.2 样本对齐 223 10.3.3 联合训练 224 10.4 隐私加密算法 225 10.4.1 基于LDP算法的安全聚合 226 10.4.2 基于MPC算法的安全聚合 226 10.4.3 基于LDP-SignDS算法的安全聚合 227 10.5 展望 229 10.5.1 异构场景下的联邦学习 229 10.5.2 通信效率提升 230 10.5.3 联邦生态 230 10.6 总结 231 第11章 推荐系统 232 11.1 系统基本组成 232 11.1.1 消息队列 233 11.1.2 特征存储 233 11.1.3 稠密神经网络 234 11.1.4 嵌入表 234 11.1.5 训练服务器 235 11.1.6 参数服务器 235 11.1.7 推理服务器 236 11.2 多阶段推荐系统 236 11.2.1 推荐流水线概述 236 11.2.2 召回 237 11.2.3 排序 239 11.3 模型更新 241 11.3.1 持续更新模型的需求 241 11.3.2 离线更新 242 11.4 案例分析：支持在线模型更新的大型推荐系统 243 11.4.1 系统设计挑战 244 11.4.2 系统架构 245 11.4.3 点对点模型更新传播算法 246 11.4.4 模型更新调度器 247 11.4.5 模型状态管理器 248 11.4.6 小结 249 11.5 总结 249 11.6 扩展阅读 250 第12章 强化学习系统 251 12.1 强化学习介绍 251 12.2 单节点强化学习系统 252 12.3 分布式强化学习系统 255 12.4 多智能体强化学习 257 12.5 多智能体强化学习系统 260 12.6 总结 264 第13章 可解释AI 系统 265 13.1 背景 265 13.2 可解释AI定义 266 13.3 可解释AI算法现状介绍 267 13.3.1 数据驱动的解释 267 13.3.2 知识感知的解释 270 13.4 常见可解释AI系统 272 13.5 案例分析：MindSpore XAI 273 13.5.1 为图片分类场景提供解释 273 13.5.2 为表格数据场景提供解释 275 13.5.3 白盒模型 276 13.6 未来研究方向 277 13.7 总结 277 第14章 机器人系统 278 14.1 机器人系统概述 278 14.1.1 感知系统 279 14.1.2 规划系统 280 14.1.3 控制系统 281 14.1.4 机器人安全 282 14.2 机器人操作系统 283 14.2.1 ROS2节点 285 14.2.2 ROS2主题 285 14.2.3 ROS2服务 286 14.2.4 ROS2参数 286 14.2.5 ROS2动作 286 14.3 案例分析：使用机器人操作系统 287 14.3.1 创建节点 290 14.3.2 读取参数 296 14.3.3 服务端-客户端服务模式 298 14.3.4 客户端 301 14.3.5 动作模式 303 14.3.6 动作客户端 305 14.4 总结 308 参考文献 309