大语言模型:原理与工程实践

目 录
1 解锁大语言模型1
1.1 什么是大语言模型·1
1.2 语言模型的发展·2
1.3 GPT 系列模型的发展·3
1.4 大语言模型的关键技术·4
1.5 大语言模型的涌现能力·5
1.6 大语言模型的推理能力·5
1.7 大语言模型的缩放定律·6
参考文献·7
2 大语言模型基础技术·8
2.1 语言表示介绍·8
2.1.1 词表示技术·8
2.1.2 分词技术·9
2.2 经典结构 Transformer·14
2.2.1 输入模块·15
2.2.2 多头自注意力模块·16
2.2.3 残差连接与层归一化·19
2.2.4 前馈神经网络·19
2.2.5 解码器·19
2.3 预训练语言模型·21
2.3.1 Decoder 的代表：GPT 系列·21
2.3.2 Encoder 的代表：BERT·23
2.4 初探大语言模型·24
2.4.1 InstructGPT·24
2.4.2 LLaMA 系列·28
参考文献·30
3 预训练数据构建·32
3.1 数据的常见类别及其来源·32
3.1.1 网页数据·33
3.1.2 书籍数据·34
3.1.3 百科数据·34
3.1.4 代码数据·34
3.1.5 其他数据·36
3.2 数据的预处理方式·36
3.2.1 正文提取·37
3.2.2 质量过滤·37
3.2.3 文档去重·38
3.2.4 数据集净化·39
3.3 常用数据集的完整构建方式 ·40
3.3.1 C4·40
3.3.2 MassiveText·40
3.3.3 RefinedWeb·41
3.3.4 ROOTS·42
3.4 难点和挑战·43
3.4.1 数据收集的局限性·43
3.4.2 数据质量评估的挑战·43
3.4.3 自动生成数据的风险·44
参考文献·44
4 大语言模型预训练·46
4.1 大语言模型为什么这么强·46
4.2 大语言模型的核心模块·49
4.2.1 核心架构·49
4.2.2 组成模块选型·51
4.3 大语言模型怎么训练·60
4.3.1 训练目标·60
4.3.2 数据配比·62
4.4 预训练还有什么没有解决·65
参考文献·66
5 挖掘大语言模型潜能：有监督微调·67
5.1 揭开有监督微调的面纱·67
5.1.1 什么是有监督微调·67
5.1.2 有监督微调的作用与意义·68
5.1.3 有监督微调的应用场景·68
5.2 有监督微调数据的构建·69
5.2.1 有监督微调数据的格式·69
5.2.2 有监督微调数据的自动化构建·70
5.2.3 有监督微调数据的选择·75
5.3 大语言模型的微调方法·76
5.3.1 全参数微调·76
5.3.2 适配器微调·76
5.3.3 前缀微调·77
5.3.4 提示微调·78
5.3.5 低秩适配·79
5.4 大语言模型的微调和推理策略·79
5.4.1 混合微调策略·80
5.4.2 基于上下文学习的推理策略·81
5.4.3 基于思维链的推理策略·82
5.5 大语言模型微调的挑战和探索·83
5.5.1 大语言模型微调的幻觉问题·83
5.5.2 大语言模型微调面临的挑战·84
5.5.3 大语言模型微调的探索与展望 ·84
参考文献·85
6 大语言模型强化对齐·87
6.1 强化学习基础 ·87
6.1.1 强化学习的基本概念·87
6.1.2 强化学习中的随机性·88
6.1.3 强化学习的目标·89
6.1.4 Q 函数与 V 函数·89
6.2 DQN 方法·91
6.2.1 DQN 的结构·91
6.2.2 DQN 训练：基本思想·92
6.2.3 DQN 训练：目标网络·94
6.2.4 DQN 训练：探索策略·94
6.2.5 DQN 训练：经验回放·95
6.2.6 DQN 训练：完整算法·95
6.2.7 DQN 决策·96
6.3 策略梯度方法·96
6.3.1 策略网络的结构·96
6.3.2 策略网络训练：策略梯度·97
6.3.3 策略网络训练：优势函数·99
6.3.4 PPO 算法·100
6.4 揭秘大语言模型中的强化建模·101
6.4.1 Token-level 强化建模·101
6.4.2 Sentence-level 强化建模·102
6.5 奖励模型·103
6.5.1 奖励模型的结构·103
6.5.2 奖励模型的训练·104
6.5.3 奖励模型损失函数分析·106
6.6 RLHF·108
6.6.1 即时奖励·108
6.6.2 RLHF 算法·109
6.7 RLHF 实战框架·111
6.8 RLHF 的难点和问题·111
6.8.1 数据瓶颈·112
6.8.2 硬件瓶颈·113
6.8.3 方法瓶颈·114
参考文献·115
7 大语言模型的评测·117
7.1 基座语言模型的评测·117
7.1.1 主要的评测维度和基准概述·118
7.1.2 具体案例：LLaMA 2 选取的评测基准·118
7.2 大语言模型的对话能力评测·120
7.2.1 评测任务·120
7.2.2 评测集的构建标准·131
7.2.3 评测方式·132
7.3 大语言模型的安全性评测·132
7.3.1 评测任务·133
7.3.2 评测方式和标准·134
7.4 行业大语言模型的评测：以金融行业大语言模型为例·134
7.4.1 金融行业大语言模型的自动化评测集·135
7.4.2 金融行业大语言模型的人工评测集·136
7.5 整体能力的评测·137
7.6 主流评测数据集及基准·138
参考文献·142
8 大语言模型的应用·143
8.1 大语言模型为什么需要提示工程·143
8.1.1 人类和大语言模型进行复杂决策的对比·144
8.1.2 提示工程的作用·144
8.2 什么是提示词·145
8.2.1 提示词的基础要素·146
8.2.2 提示词设计的通用原则·146
8.3 推理引导·147
8.3.1 零样本提示·147
8.3.2 少样本提示·148
8.3.3 思维链提示·149
8.3.4 自我一致性提示·150
8.3.5 思维树提示·151
8.4 动态交互·155
8.4.1 检索增强生成技术·155
8.4.2 推理和行动协同技术·159
8.5 案例分析·161
8.5.1 案例介绍·161
8.5.2 工具设计·161
8.5.3 提示词设计·165
8.5.4 案例运行·167
8.6 局限和发展·172
8.6.1 目前的局限·172
8.6.2 未来的发展·173
参考文献·173
9 工程实践·175
9.1 大语言模型训练面临的挑战·175
9.2 大语言模型训练综述·176
9.2.1 数据并行·176
9.2.2 模型并行·179
9.2.3 ZeRO 并行·181
9.3 大语言模型训练技术选型技巧·184
9.4 大语言模型训练优化秘籍·186
9.4.1 I/O 优化·186
9.4.2 通信优化·187
9.4.3 稳定性优化·190
9.5 大语言模型训练工程实践·190
9.5.1 DeepSpeed 架构·191
9.5.2 DeepSpeed 训练详解·191
9.5.3 DeepSpeed 训练调优实践·194
9.6 强化学习工程实践·196
9.6.1 DeepSpeed-Chat 混合引擎架构·196
9.6.2 DeepSpeed-Chat 训练详解·197
9.6.3 DeepSpeed-Chat 训练调优实践·199
9.7 大语言模型推理工程·201
9.7.1 提升规模：模型量·202
9.7.2 提高并行度：张量并行·205
9.7.3 推理加速：算子优化·207
9.7.4 降低计算量：KV-Cache·208
9.7.5 推理工程综合实践·210
参考文献·212
10 手把手教你训练 7B 大语言模型·214
10.1 自动化训练框架·214
10.1.1 自动化训练框架介绍·214
10.1.2 主要模块介绍·215
10.2 动手训练 7B 大语言模型·237
10.2.1 语料预处理·238
10.2.2 预训练实践·240
10.2.3 指令微调实践·245
10.3 小结·247