包邮大语言模型技术与应用

内容简介

全书共16章，在内容上涵盖了机器学习知识的主要方面，包括机器学习概述、机器学习基础、线性模型、决策树、集成学习、聚类分析、神经网络、贝叶斯分类器、支持向量机、降维与特征选择、半监督学习、概率图模型、推荐系统、深度学习、强化学习、机器学习的发展等。本书针对高等院校、职业教育学生发展需要，是为相关各专业“机器学习”基础或通识课程全新设计编写的主教材，阅读和教学时可依照学习进度与需求，做适当选择。目录第1章 概述1.1 人工智能基础1.1.1 人工智能的定义1.1.2 人工智能的实现途径1.1.3 机器学习和深度学习1.1.4 监督学习与无监督学习1.2 大语言模型的定义1.3 大语言模型形成基础1.3.1 Blockhead思维实验1.3.2 大模型的历史基础1.3.3 基于Transformer模型1.3.4 大模型的世界模型问题1.3.5 文化知识传递和语言支持1.4 通用人工智能1.4.1 什么是通用人工智能1.4.2 大模型与通用人工智能1.4.3 人工智能生成内容【作 业】【实践与思考】了解典型的开源大语言模型第2章 大模型基础2.1 什么是语言模型2.1.1 语言模型的定义2.1.2 注意力机制2.1.3 开源还是闭源2.2 大模型发展三阶段2.2.1 基础模型阶段2.2.2 能力探索阶段2.2.3 突破发展阶段2.3 TRANSFORMER模型2.3.1 Transformer过程2.3.2 Transformer结构2.3.3 Transformer模块2.4 生成式预训练语言模型GPT2.5 大模型的结构312.5.1 LLaMA的模型结构2.5.2 LLaMA的注意力机制【作 业】【实践与思考】基于CHATGPT的免费工具：CHATAI小组件第3章 大模型的架构3.1 大模型生成原理3.1.1 上下文学习3.1.2 指令跟随3.1.3 ZeroFew-Shot3.1.4 深度学习架构3.1.5 训练策略及优化技术3.2 多模态语言模型3.2.1 多模态指令调优3.2.2 多模态上下文学习3.2.3 多模态思维链3.2.4 大模型辅助视觉推理3.3 应用技术架构3.3.1 指令工程3.3.2 函数调用3.3.3 检索增强生成3.3.4 微调3.4 谷歌的GEMINI大模型3.5 谷歌的GEMINI 1.5多模态大模型3.5.1 深入理解海量信3.5.2 横跨不同媒介3.5.3 高效处理更长代码3.5.4 高效架构的秘密：MoE3.5.5 卡拉曼语翻译3.6 OPENAI的SORA大模型3.6.1 Sora技术报告分析3.6.2 Sora主要技术特点3.6.3 Sora的模型训练过程3.7 谷歌开源大模型GEMMA【作 业】【实践与思考】熟悉阿里云大模型“通意千问”第4章 人工：数据标注4.1 知识与知识表示4.1.1 知识的概念4.1.2 知识表示方法4.1.3 表示方法的选择4.2 什么是数据标注4.3 数据标注的分类4.3.1 图像标注4.3.2 语音标注4.3.3 3D点云标注4.3.4 文本标4.4 制定标注规则4.5 进行数据标注4.6 标注团队管理【作 业】【实践与思考】熟悉GLOBE EXPLORER智能搜索引擎第5章 大模型预训练数据5.1 数据来源5.1.1 通用数据5.1.2 专业数据5.2 数据处理5.2.1 质量过滤5.2.2 冗余去除5.2.3 隐私消除5.2.4 词元切分5.3 数据影响分析5.3.1 数据规模5.3.2 数据质量5.3.3 数据多样性5.4 典型的开源数据集5.4.1 Pile5.4.2 ROOTS5.5 数据集面临的挑战5.5.1 数据集规模和质量待提升5.5.2 大模型与数据集相辅相成5.5.3 数据集标准规范需健全5.5.4 数据存储性能待提高【作 业】 【实践与思考】第6章 大模型的开发组织6.1 大模型开发流程6.2 大模型的数据组织6.2.1 数据采集6.2.2 数据清洗和预处理6.2.3 数据标注6.2.4 数据集划分6.2.5 模型设计6.2.6 模型初始化6.2.7 模型训练6.2.8 模型验证6.2.9 模型保存6.2.10 模型测试6.2.11 模型部署6.3 训练集、测试集、验证集不同之处6.3.1 目的与功能不同6.3.2 数据交互频率不同6.3.3 数据划分与比例不同6.3.4 使用时机不同6.4 训练集、测试集、验证集相似之处6.4.1 数据来源一致6.4.2 相似的数据预处理6.4.3 目标一致，各具独立性6.4.4 保证数据质量和代表性【作 业】【实践与思考】谷歌开源大模型GEMMA第7章 分布式训练7.1 分而治之7.1.1 消息传递接口MPI7.1.2 MapReduce7.1.3 批处理和流处理7.2 什么是分布式处理7.2.1 分布式处理的特点7.2.2 分布式处理发展过程7.2.3 分布式构成方式7.2.4 分布式处理系统7.3 分布式训练概述7.4 分布式并行训练策略7.4.1 数据并行性7.4.2 模型并行性7.4.3 流水线并行性7.4.4 混合并行7.5 分布式训练的集群架构【作 业】【实验与思考】大模型背后的“世界芯片行业老大”英伟达第8章 提示工程与微调8.1 什么是提示工程8.1.1 模型设置8.1.2 基本概念8.1.3 设计提示的通用技巧8.2 大模型为什么要微调8.3 提示学习和语境学习8.3.1 提示学习8.3.2 语境学习8.4 上下文窗口扩展8.5 指令数据的构建8.5.1 手动构建指令8.5.2 自动构建指令8.5.3 开源指令数据集8.6 微调及其PEFT流行方案8.6.1 微调技术路线8.6.2 提示微调8.6.3 前缀微调8.6.4 LoRA8.6.5 QLoRA【作 业】【实验与思考】文生图：注册使用MIDJOURNEY绘图工具第9章 强化学习方法9.1 什么是强化学习9.1.1 强化学习的定义9.1.2 强化学习发展历史9.2 与无监督和监督学习的区别9.2.1 与监督和无监督学习的不同9.2.2 大模型环境下的强化学习9.2.3 学习方式不同9.2.4 先验知识与标注数据9.3 强化学习的基础9.3.1 基于模型与免模型环境9.3.2 探索与利用9.3.3 片段还是连续性任务9.3.4 网络模型设计9.3.5 数据依赖性9.4 强化学习分类9.4.1 从奖励中学习9.4.2 被动强化学习9.4.3 主动强化学习9.4.4 强化学习中的泛化9.4.5 学徒学习与逆强化学习【作 业】【实践与思考】海尔智家发明专利：用于虚拟现实系统的控制方法及实现第10章 基于大模型的智能体10.1 智能体和环境10.2 智能体的良好行为10.2.1 性能度量10.2.2 理性10.2.3 全知、学习和自主10.3 环境的本质10.3.1 指定任务环10.3.2 任务环境的属性10.4 智能体的结构10.4.1 智能体程序10.4.2 学习型智能体10.4.3 智能体组件的工作10.5 构建大模型智能体10.5.1 基于大模型的智能体10.5.2 观测与感知10.5.3 记忆与检索10.5.4 推理和规划10.5.5 行动和执行【作 业】【实践与思考】SORA进击：人工智能改变体育产业第11章 大模型应用框架11.1 大模型经典哲学问题11.1.1 组成性11.1.2 天赋论与语言习得11.1.3 语言理解与基础11.1.4 世界模型11.1.5 文化知识传递和语言支持11.2 大模型的构建流程11.2.1 确定需求大小11.2.2 数据收集11.2.3 数据集预处理11.2.4 大模型预训练11.2.5 任务微调11.2.6 部署11.3 大模型的应用场景11.3.1 机器翻译、文本理解与分析11.3.2 恶意软件分析11.3.3 自然语言生成11.3.4 搜索与知识提取11.3.5 代码开发11.3.6 检测和预防网络攻击11.3.7 虚拟助理和客户支持11.3.8 转录11.3.9 市场调研11.3.10 SEO关键词优化11.4 案例：MAGIC突破Q算法【作 业】【实践与思考】特斯拉OPTIMUS人形机器人持续进化第12章 技术伦理与限制12.1 人工智能面临的伦理挑战12.1.1 人工智能与人类的关系12.1.2 人与智能机器的沟通12.2 大数据伦理问题12.2.1 数据主权和数据权问题12.2.2 隐私权和自主权被侵犯问题12.2.3 数据利用失衡问题12.3 大模型的知识产权保12.3.1 大模型的诉讼案例12.3.2 大模型生成内容的与知识产权保护12.3.3 尊重隐私，保障安全，促进开放12.3.4 边缘群体的数字平等12.4 算法歧12.4.1 算法透明之争12.4.2 算法透明的实践12.4.3 算法透明的算法说明12.4.4 算法公平的保障措施【作 业】【实践与思考】完全由人工智能完成的视觉艺术品无法获得版权第13章 大模型的评估13.1 模型评估概述13.2 大模型评估体系13.2.1 知识与能力13.2.2 伦理与安全13.2.3 垂直领域评估13.3 大模型评估方法13.3.1 评估指标13.3.2 评估方法13.4 大模型评估实践13.4.1 基础模型评估13.4.2 SFT模型和RL模型评估【作 业】【实践与思考】第14章 大模型的健康未来14.1 人工智能新发展14.1.1 人工智能改变自动驾驶未来14.1.2 被重视的人工智能治理政策14.1.3 人工智能音乐的立法实践14.1.4 防止人工智能误导民众14.1.5 生成式人工智能产出的版权14.2 数据隐私保护对策14.2.1 构建隐私保护伦理准则14.2.2 注重隐私保护伦理教育14.2.3 健全道德伦理约束机制14.3 人工智能伦理原则14.3.1 职业伦理准则的目标14.3.2 创新发展道德伦理宣言14.3.3 微软六大伦理原则14.3.4 百度四大伦理原则14.3.5 欧盟可信赖的伦理准则14.3.6 美国军用AI伦理原则14.4 大模型的大趋势14.5 通用人工智能涌现【作 业】【课程学习与实践总结】附录 作业参考答案