包邮深度学习编译器设计

目录 第1章深度学习简介 1.1深度学习的起源、发展与爆发 1.1.1深度学习的起源 1.1.2深度学习的发展 1.1.3深度学习的爆发 1.2深度学习模型的基础概念 1.2.1深度学习模型的组成 1.2.2深度学习模型的运行 1.2.3深度学习模型的分类 1.3深度学习应用的开发流程 1.3.1通用开发流程 1.3.2特定领域典型应用的开发流程 1.4深度学习框架 1.4.1发展历程 1.4.2典型框架 1.4.3核心组件 第2章深度学习编译简介 2.1深度学习运算特征 2.1.1深度学习中的矩阵运算 2.1.2大规模矩阵运算面临的挑战 2.2深度学习硬件平台 2.2.1深度学习硬件技术架构 2.2.2深度学习硬件应用挑战 2.3深度学习编译技术 2.3.1典型深度学习编译器 2.3.2深度学习编译器的结构 第3章编程模型与编程接口 3.1编程模型 3.1.1任务划分 3.1.2数据分布 3.1.3通信和同步 3.1.4任务映射 3.1.5兼容性及发展趋势 3.2编程接口 3.2.1基于C/C 的接口 3.2.2基于Python的接口 3.2.3Python调用C/C 的绑定技术 第4章前端 4.1计算图构成 4.1.1数据节点 4.1.2计算节点 4.1.3控制节点 4.1.4依赖边 4.2计算图分类 4.2.1静态计算图 4.2.2动态计算图 4.3计算图转换 4.3.1动静结合技术 4.3.2动静统一技术 4.4计算图分析 4.4.1类型系统 4.4.2类型推导 4.4.3类型转换 4.4.4形状推导 第5章中间表示 5.1中间表示的概念 5.2中间表示的分类 5.2.1线性中间表示 5.2.2图中间表示 5.2.3混合中间表示 5.3中间表示的设计 5.3.1单层中间表示设计 5.3.2两层中间表示设计 5.3.3多层中间表示设计 第6章自动微分 6.1自动微分的概念 6.2自动微分的模式 6.2.1前向模式 6.2.2反向模式 6.3自动微分的实现 6.3.1基本表达式法 6.3.2操作符重载法 6.3.3源码转换法 第7章计算图优化 7.1算子融合 7.1.1融合规则 7.1.2融合策略 7.1.3内存融合 7.1.4并行融合 7.1.5动态融合 7.2混合精度改写 7.3数据布局转换 7.4其他图优化方法 7.4.1常量折叠 7.4.2公共子表达式消除 7.4.3代数化简 第8章内存分配与优化 8.1内存分配 8.2内存复用 8.2.1原地置换 8.2.2内存共享 8.3张量迁移 8.3.1迁移机制 8.3.2迁移优化 8.4重计算 8.4.1静态图重计算 8.4.2动态图重计算 8.4.3快速注意力机制 第9章算子选择与生成 9.1算子选择 9.2算子生成 9.2.1基于机器学习的算子生成 9.2.2基于多面体变换的算子生成 第10章代码生成与优化 10.1过程间优化 10.2循环优化 10.2.1循环展开 10.2.2循环合并 10.2.3循环分布 10.2.4循环剥离 10.2.5循环分段 10.2.6循环分块 10.2.7循环交换 10.3语句级优化 10.3.1冗余语句删除 10.3.2公共子表达式消除 10.4指令级优化 10.4.1指令流水 10.4.2超标量 10.4.3超长指令字 10.5自动并行化 10.5.1自动向量化 10.5.2自动张量化 10.5.3自动OpenMP并行化 10.6访存优化 10.6.1寄存器优化 10.6.2内存优化 第11章自动并行 11.1并行划分 11.1.1数据并行划分 11.1.2模型并行划分 11.1.3序列并行划分 11.1.4混合并行划分 11.2并行策略 11.2.1搜索空间 11.2.2代价模型 11.2.3搜索算法 11.3通信优化 11.3.1通信优化基础 11.3.2通信优化策略 第12章模型推理 12.1模型部署 12.1.1部署工具 12.1.2部署方式 12.2模型压缩 12.2.1量化 12.2.2剪枝 12.2.3知识蒸馏 12.3推理加速 12.3.1图优化 12.3.2算法优化 12.3.3运行时优化 参考文献