大语言模型原理、训练及应用 基于GPT

目录 推荐序 前言 第1章认识大语言模型 1.1大语言模型概述 1.1.1AI技术的发展 1.1.2生成式AI、NLP、GPT的关系 1.1.3大语言模型的发展 1.2大语言模型的训练 1.2.1预训练 1.2.2微调 1.2.3人类反馈强化学习 1.3大语言模型的核心应用场景 1.3.1内容创作 1.3.2摘要生成 1.3.3语义检索 1.3.4代码生成 1.4大语言模型的多模态场景 1.4.1文生图 1.4.2图片与视频理解 1.4.3语音转文字 1.4.4大语言模型与数字人/虚拟人的集成 1.4.5视频生成 1.5大语言模型的现状和未来 1.6本章小结 第2章大语言模型训练 2.1Transformer网络架构 2.1.1传统Transformer架构 2.1.2Casual-decoder架构 2.1.3Transformer Embedding和位置编码 2.1.4Attention层和Attention机制 2.1.5FFN/MLP网络 2.2模型参数量与计算量评估 2.2.1算力资源计算方法 2.2.2显存资源计算方法 2.3分布式训练介绍 2.3.1通信原语 2.3.2数据并行 2.3.3模型并行 2.3.4DeepSpeed Zero优化 2.4如何训练大语言模型 2.4.1预训练 2.4.2微调 2.4.3RLHF/RLAIF 2.5Casual-decoder 大语言模型训练案例 2.5.1预训练 2.5.2DPO 2.6本章小结 第3章GPU池化——构建大语言模型算力基础 3.1GPU池化建设目标 3.2GPU与网卡的选择 3.2.1GPU的选择 3.2.2RDMA网络 3.3基础架构环境的验证 3.3.1Perftest测试网卡 3.3.2NCCL测试性能 3.4分布式训练与推理 3.4.1训练环境选择 3.4.2Azure GPU VM的创建 3.4.3训练框架的选择 3.4.4在Azure GPU VM中安装驱动 3.4.5使用NeMo训练文本分类模型 3.4.6使用DeepSpeed-Chat训练OPT 3.4.7使用DeepSpeed-Training训练Stable Diffusion 3.4.8深度学习推理环境搭建 3.5本章小结 第4章GPT的优化与编排 4.1GPT的优化 4.1.1提示工程 4.1.2GPT微调 4.1.3