包邮ASCEND C异构并行程序设计—— 昇腾算子编程指南

第 1 章　?N腾AI处理器软硬件架构　11.1　Atlas硬件计算平台　11.1.1　Atlas服务器　11.1.2　Atlas集群　31.2　?N腾AI处理器　31.3　达 芬奇架构　51.3.1　计算单元　6第 1 章　?N腾AI处理器软硬件架构　11.1　Atlas硬件计算平台　11.1.1　Atlas服务器　11.1.2　Atlas集群　31.2　?N腾AI处理器　31.3　达 芬奇架构　51.3.1　计算单元　61.3.2　存储系统　131.3.3　控制单元　171.3.4　指令集设计　191.4　硬件感知　201.5　?N腾异构计算架构　221.6　小结　231.7　测验题　231.8　实践题　24第 2 章　Ascend C快速入门　252.1　并行计算的基本原理　252.1.1　并行体系结构的分类　262.1.2　大模型并行加速的基本原理　282.1.3　并行效率量化的原理　292.2　Ascend C开发环境准备　302.2.1　版本选择　302.2.2　环境依赖　312.2.3　安装开发套件软件包　312.3　Ascend C算子的开发调用　322.3.1　CANN算子的类型　322.3.2　运行时和任务调度　342.3.3　两种核函数的调用方式　382.3.4　调用一个?N腾算子　392.4　?N腾向量加法程序的加速比　432.5　小结　432.6　测验题　432.7　实践题　44第 3 章　Ascend C编程模型与编程范式　453.1　Ascend C编程模型　453.1.1　AI Core硬件抽象　453.1.2　SPMD编程模型　473.1.3　流水线编程范式　483.2　Ascend C语法扩展　503.2.1　Ascend C API概述　513.2.2　数据存储　533.2.3　任务间通信与同步模块　563.2.4　资源管理模块　573.2.5　临时变量　583.3　向量编程范式　593.3.1　算子分析　603.3.2　核函数的定义与封装　613.3.3　算子的数据通路　623.3.4　算子类的实现　633.3.5　算子的切分策略　673.4　矩阵编程范式　683.4.1　基础知识　683.4.2　高阶API实现Matmul算子流程概述　723.4.3　Matmul算子Kernel侧的开发　723.4.4　Matmul算子Host侧的开发　783.5　混合编程范式　813.5.1　matmul_leakyrelu算子的基本概念　813.5.2　matmul_leakyrelu算子Kernel侧的开发　823.6　更多Ascend C算子样例　883.6.1　双曲正弦函数算子核函数的实现　893.6.2　Strassen矩阵乘法算子核函数的实现　913.6.3　LayerNorm核函数的实现　1013.7　小结　1053.8　测验题　1063.9　实践题　106第 4 章　Ascend C算子开发流程　1084.1　算子开发流程概述　1084.2　自动生成算子工程　1094.3　算子开发流程：Kernel侧　1114.3.1　函数原型的声明　1134.3.2　算子类的实现　1134.4　算子开发流程：Host侧　1144.4.1　Tiling实现　1144.4.2　shape推导等函数的实现　1174.4.3　算子原型的注册　1184.5　算子工程的编译部署　1194.5.1　算子工程的编译　1194.5.2　算子包的部署　1214.6　PyTorch算子调用　1224.6.1　PyTorch算子调用的基本原理　1224.6.2　安装PyTorch框架　1224.6.3　安装torch_npu插件　1234.6.4　安装APEX模块　1244.6.5　调用测试脚本　1254.7　Ascend C算子在整网中的替换　1264.7.1　替换算子的工程开发及编译部署　1264.7.2　PyTorch适配插件的开发　1274.7.3　算子替换　1294.8　小结　1304.9　测验题　1304.10　实践题　131第 5 章　Ascend C算子调试调优　1325.1　算子调试工具　1325.1.1　孪生调试　1325.1.2　CPU域的调试　1325.1.3　NPU域的调试　1355.2　算子调优工具　1395.2.1　算子性能调优原理　1395.2.2　算子调优基本流程　1425.3　算子异常检测工具　1435.3.1　算子内存的检测原理　1435.3.2　算子竞争的检测原理　1465.3.3　异常检测工具的使用方法　1465.4　?N腾算子性能的优化方法　1475.4.1　算子计算流程优化　1475.4.2　代码实现优化　1505.4.3　层次化访存优化　1525.4.4　计算资源利用优化　1535.5　小结　1545.6　测验题　1545.7　实践题　155第 6 章　Ascend C大模型算子优化　1566.1　大模型与自注意力算子的基础知识　1566.1.1　大模型的奠基石——Transformer　1566.1.2　自注意力算子在GPU上加速计算的发展　1566.2　自注意力算子的优化算法　1606.2.1　自注意力算子在?N腾AI处理器上的优化思路　1606.2.2　自注意力算子的前向传播优化　1616.3　自注意力算子前向传播的实现　1676.3.1　矩阵切分　1686.3.2　矩阵乘法计算　1706.3.3　Softmax计算　1716.3.4　第二次矩阵乘法及输出合并计算　1736.4　自注意力算子的测试　1766.4.1　生成算子API　1766.4.2　编写测试项目　1786.4.3　编译与运行　1886.5　小结　1886.6　测验题　1896.7　实践题　189