包邮大模型垂直领域低算力迁移 微调、部署与优化

CONTENTS目　　录前言第1章　垂直领域大模型的行业变革与机遇 11.1　大模型下的行业变革 11.1.1　大模型的iPhone时刻 11.1.2　大模型的全行业重塑 31.1.3　劳动力市场的变革 71.2　垂直领域大模型迁移的动机 71.2.1　商业价值 71.2.2　行业技术护城河 91.2.3　领域数据优势 91.3　垂直领域大模型迁移的机遇 10CONTENTS目　　录前言第1章　垂直领域大模型的行业变革与机遇 11.1　大模型下的行业变革 11.1.1　大模型的iPhone时刻 11.1.2　大模型的全行业重塑 31.1.3　劳动力市场的变革 71.2　垂直领域大模型迁移的动机 71.2.1　商业价值 71.2.2　行业技术护城河 91.2.3　领域数据优势 91.3　垂直领域大模型迁移的机遇 10第2章　垂直领域迁移技术栈 112.1　垂直领域迁移的方式 112.1.1　提示工程 122.1.2　检索增强生成 152.1.3　参数高效微调 172.1.4　全参数微调 182.1.5　从头预训练 192.1.6　垂直领域迁移低算力技术选型 202.2　低算力微调 202.3　推理优化 222.3.1　模型编译 232.3.2　模型压缩 242.3.3　模型分区 25第3章　大模型的开源生态 273.1　大模型的开源社区 273.1.1　Meta 273.1.2　Hugging Face 283.1.3　微软 313.1.4　英伟达 323.2　开源生态下基座模型选择的关键指标 333.2.1　参数规模 333.2.2　训练Token 343.2.3　上下文窗口 353.2.4　综合评测 363.2.5　商业许可 373.3　开源基座模型LLaMA系列 383.3.1　LLaMA 2 383.3.2　LLaMA 3 403.3.3　商用限制 40第4章　自举领域数据的获取 424.1　指令自举标注 424.2　自举无监督标注 444.2.1　指令生成阶段 444.2.2　答案生成阶段 464.2.3　过滤和修剪阶段 474.3　自我策展 474.3.1　初始化阶段 484.3.2　自我增强阶段 494.3.3　自我策展阶段 494.4　自我奖励 504.4.1　种子数据 514.4.2　自我指令创建 514.4.3　指令遵循训练 524.4.4　迭代训练 53第5章　数据处理 545.1　数据处理的挑战 545.2　数据质量 555.2.1　文本提取 565.2.2　数据去重 565.2.3　质量过滤 585.2.4　内容毒性过滤 595.3　高效数据集访问 605.3.1　数据集来源 605.3.2　列式内存格式 615.3.3　向量化计算 635.3.4　零复制数据交换 645.3.5　虚拟内存 65第6章　大模型抽象 666.1　计算图 666.2　静态计算图 696.3　动态计算图 706.4　算子优化与调度 736.4.1　计算图与算子优化 736.4.2　计算图与算子调度 746.4.3　串行调度与并行调度 746.5　大模型中的张量与算子 766.5.1　输入层 776.5.2　自注意力层 786.5.3　前馈网络层 796.5.4　输出层 796.6　大模型的序列化 806.6.1　序列化文件的类型 806.6.2　TensorFlow模型序列化 816.6.3　PyTorch模型序列化 846.6.4　Safetensors序列化格式 86第7章　LoRA低算力微调 897.1　LoRA的原理 897.2　LoRA的重参数化方法 917.3　秩的选择 927.4　LoRA的多任务处理策略 937.5　LoRA量化版本QLoRA 947.6　LoRA微调类型 957.6.1　继续预训练 957.6.2　RLHF 967.6.3　DPO 97第8章　大模型的分布式训练 998.1　分布式训练的挑战 998.1.1　算力与内存瓶颈 998.1.2　分布式训练系统的设计挑战 1008.2　分布式集群架构 1028.2.1　GPU集群架构 1028.2.2　集合通信算子 1048.2.3　通信拓扑 1088.3　分布式训练的通信架构 1098.3.1　基于参数服务器的架构 1098.3.2　基于归约的架构 1118.4　并行模式 1138.4.1　数据并行 1138.4.2　张量并行 1158.4.3　流水线并行 1168.4.4　并行模式的对比 1178.5　大模型的张量并行 1188.5.1　输入层 1188.5.2　输出层 1208.5.3　多层感知机 1218.5.4　自注意力 1228.6　数据并行的内存优化 1238.6.1　设备内存占用 1248.6.2　ZeRO技术 1258.6.3　ZeRO-Offload技术 128第9章　推理优化技术 1319.1　计算加速 1319.1.1　算子融合 1319.1.2　并行推理 1349.2　内存优化 1359.2.1　KV缓存 1359.2.2　页注意力 1379.2.3　快速注意力 1399.3　吞吐量优化 1439.3.1　内存I/O瓶颈 1439.3.2　静态批处理 1439.3.3　连续批处理 1449.3.4　动态分割融合 1459.4　量化 1479.4.1　量化的动机 1479.4.2　量化的原理 1489.4.3　LLM.int8() 1509.4.4　GPTQ 152第10章　大模型的编译优化 15610.1　深度学习编译与大模型编译 15610.1.1　深度学习编译 15610.1.2　多级渐进优化 15810.1.3　硬件优化偏好 15910.1.4　大模型的编译特点 16110.2　深度学习框架