AIGC原理与实践:零基础学大语言模型、扩散模型和多模态模型

CONTENTS
目　　录
前言
第1章　AIGC概述 1
1.1　AIGC的主要技术 1
1.1.1　语言生成方面的技术 2
1.1.2　视觉生成方面的技术 3
1.1.3　多模态方面的技术 3
1.2　生成模型与判别模型 4
1.2.1　生成模型 4
1.2.2　判别模型 5
1.3　生成模型的原理 5
1.3.1　生成模型的框架 6
1.3.2　生成模型的概率表示 6
1.3.3　生成模型的目标函数 7
1.3.4　生成模型的挑战及解决方法 8
1.4　表示学习 9
1.4.1　表示学习的直观理解 10
1.4.2　表示学习的常用方式 12
1.4.3　表示学习与特征工程的区别 13
1.4.4　图像的表示学习 13
1.4.5　文本的表示学习 14
1.4.6　多模态的表示学习 15
1.4.7　表示学习的融合技术 16
1.4.8　如何衡量表示学习的优劣 17
1.5　表示学习的逆过程 18
第2章　深度神经网络 21
2.1　用PyTorch构建深度神经网络 21
2.1.1　神经网络的核心组件 21
2.1.2　构建神经网络的主要工具 22
2.1.3　构建模型 24
2.1.4　训练模型 24
2.2　用PyTorch实现神经网络实例 25
2.2.1　准备数据 26
2.2.2　可视化源数据 27
2.2.3　构建模型 28
2.2.4　训练模型 29
2.3　用PyTorch Lightning实现神经网络实例 31
2.4　构建卷积神经网络 35
2.4.1　全连接层 36
2.4.2　卷积层 36
2.4.3　卷积核 39
2.4.4　步幅 42
2.4.5　填充 43
2.4.6　多通道上的卷积 43
2.4.7　激活函数 48
2.4.8　卷积函数 48
2.4.9　转置卷积 50
2.4.10　特征图与感受野 53
2.4.11　卷积层如何保留图像的空间信息 53
2.4.12　现代经典网络 54
2.4.13　可变形卷积 59
2.5　构建循环神经网络 60
2.5.1　从神经网络到有隐含状态的循环神经网络 60
2.5.2　使用循环神经网络构建语言模型 62
2.5.3　多层循环神经网络 63
2.5.4　现代经典循环神经网络 63
2.6　迁移学习 64
2.6.1　迁移学习简介 65
2.6.2　微调预训练模型 65
2.7　深度学习常用的归一化方法 68
2.7.1　归一化方法简介 68
2.7.2　归一化的原理 70
2.7.3　归一化的代码实现 72
2.8　权重初始化 77
2.8.1　为何要进行权重初始化 77
2.8.2　权重初始化方法 78
2.9　PyTorch常用的损失函数 79
2.10　深度学习常用的优化算法 80
2.10.1　传统梯度更新算法 80
2.10.2　批量随机梯度下降法 82
2.10.3　动量算法 83
2.10.4　Nesterov动量算法 85
2.10.5　AdaGrad算法 87
2.10.6　RMSProp算法 89
2.10.7　Adam算法 90
2.10.8　各种优化算法比较 92
第3章　变分自编码器 94
3.1　自编码器简介 94
3.1.1　构建自编码器 95
3.1.2　构建编码器 96
3.1.3　构建解码器 97
3.1.4　定义损失函数及优化器 98
3.1.5　分析自编码器 98
3.2　变分自编码器简介 100
3.2.1　变分自编码器的直观理解 100
3.2.2　变分自编码器的原理 102
3.3　构建变分自编码器 105
3.3.1　构建编码器 106
3.3.2　构建解码器 107
3.3.3　损失函数 108
3.3.4　分析变分自编码器 109
3.4　使用变分自编码器生成面部图像 110
3.4.1　编码器 111
3.4.2　解码器 111
3.4.3　进一步分析变分自编码器 112
3.4.4　生成新头像 113
第4章　生成对抗网络 114
4.1　GAN模型简介 114
4.1.1　GAN的直观理解 114
4.1.2　GAN的原理 115
4.1.3　GAN的训练过程 116
4.2　用GAN从零开始生成图像 117
4.2.1　判别器 117
4.2.2　生成器 117
4.2.3　损失函数 118
4.2.4　训练模型 118
4.2.5　可视化结果 120
4.3　GAN面临的问题 121
4.3.1　损失振荡 121
4.3.2　模型坍塌的简单实例 122
4.3.3　GAN模型坍塌的原因 123
4.3.4　避免GAN模型坍塌的方法 124
4.4　WGAN 125
4.4.1　改进方向和效果 125
4.4.2　Wasserstein距离的优越性 127
4.4.3　WGAN的损失函数代码 127
4.4.4　WGAN的其他核心代码 128
4.5　WGAN-GP 129
4.5.1　权重裁剪的隐患 129
4.5.2　梯度惩罚损失 130
4.5.3　WGAN-GP的训练过程 131
4.5.4　WGAN-GP的损失函数代码 132
第5章　StyleGAN模型 134
5.1　ProGAN简介 135
5.2　StyleGAN架构 137
5.3　StyleGAN的其他算法 140
5.4　用PyTorch从零开始实现StyleGAN 141
5.4.1　构建生成网络 141
5.4.2　构建判别器网络 147
5.4.3　损失函数 150
5.5　StyleGAN的*新进展 151
5.5.1　StyleGAN2简介 151
5.5.2　StyleGAN3简介 152
5.5.3　StyleGAN与DeepDream模型的异同 153
5.6　DragGAN简介 153
第6章　风格迁移 154
6.1　DeepDream模型 154
6.1.1　DeepDream的原理 154
6.1.2　DeepDream算法的流程 155
6.1.3　使用PyTorch实现DeepDream 156
6.2　普通风格迁移 159
6.2.1　内容损失 160
6.2.2　风格损失 161
6.2.3　使用PyTorch实现神经网络风格迁移 163
6.3　使用PyTorch实现图像修复 167
6.3.1　网络结构 167
6.3.2　损失函数 168
6.3.3　图像修复实例 169
6.4　风格迁移与StyleGAN模型 171
第7章　注意力机制 173
7.1　注意力机制简介 173
7.1.1　两种常见的注意力机制 174
7.1.2　来自生活的注意力 174
7.1.3　注意力机制的本质 175
7.2　带注意力机制的编码器-解码器架构 177
7.2.1　引入注意力机制 178
7.2.2　计算注意力分配概率分布值 180
7.3　自注意力 182
7.3.1　单层自注意力 182
7.3.2　多层自注意力 185
7.3.3　多头自注意力 186
7.3.4　自注意力与卷积网络、循环网络的比较 189
7.4　如何训练含自注意力的模型 190
7.4.1　将标记向量化 191
7.4.2　添加位置编码 191
7.4.3　逆嵌入过程 192
7.5　交叉注意力 192
7.5.1　Transformer解码器中的交叉注意力 193
7.5.2　Stable Diffusion解码器中的交叉注意力 193
7.5.3　交叉注意力与自注意力的异同 194
第8章　Transformer模型 196
8.1　Transformer模型的直观理解 196
8.1.1　顶层设计 197
8.1.2　嵌入和向量化 199
8.1.3　位置编码 200
8.1.4　自注意力 201
8.1.5　掩码 205
8.1.6　多头注意力 205
8.1.7　残差连接 207
8.1.8　层归一化 209
8.1.9　解码器的输出 210
8.1.10　多层叠加 211
8.2　用PyTorch从零开始实现Transformer 212
8.2.1　构建编码器-解码器架构 212
8.2.2　构建编码器 213
8.2.3　构建解码器 215
8.2.4　构建多头注意力 217
8.2.5　构建前馈神经网络层 220
8.2.6　预处理输入数据 220
8.2.7　构建完整网络 223
8.2.8　训练模型 224
8.2.9　一个简单实例 228
第9章　大语言模型 231
9.1　大语言模型简介 231
9.2　可视化GPT原理 233
9.2.1　GPT简介 233
9.2.2　GPT的整体架构 233
9.2.3　GPT模型架构 234
9.2.4　GPT-2与BERT的多头注意力的区别 235
9.2.5　GPT-2的输入 235
9.2.6　GPT-2 计算遮掩自注意力的详细过程 236
9.2.7　GPT-2的输出 238
9.2.8　GPT-1与GPT-2的异同 238
9.3　GPT-3简介 239
9.4　可视化BERT原理 241
9.4.1　BERT的整体架构 241
9.4.2　BERT的输入 243
9.4.3　遮掩语言模型 244
9.4.4　预测下一个句子 245
9.4.5　微调 245
9.4.6　使用特征提取方法 247
9.5　用PyTorch实现BERT 248
9.5.1　BERTEmbedding类的代码 248
9.5.2　TransformerBlock类的代码 249
9.5.3　构建BERT的代码 250
9.6　用GPT-2生成文本 251
9.6.1　下载GPT-2预训练模型 251
9.6.2　用贪心搜索进行解码 253
9.6.3　用束搜索进行解码 254
9.6.4　用采样进行解码 256
9.6.5　用Top-K采样进行解码 258
9.6.6　用Top-p采样进行解码 260
9.6.7　用综合方法进行解码 261
第10章　ChatGPT模型 263
10.1　ChatGPT简介 263
10.1.1　ChatGPT核心技术 264
10.1.2　InstructGPT和ChatGPT的训练过程 265
10.1.3　指令微调 267
10.1.4　ChatGPT的不足 268
10.2　人类反馈强化学习 268
10.2.1　工作原理 268
10.2.2　工作流程 269
10.2.3　PPO算法 270
10.2.4　评估框架 273
10.2.5　创新与不足 273
10.3　Codex 274
10.3.1　对源代码进行预处理 274
10.3.2　处理代码块 277
10.3.3　将源代码数字化 277
10.3.4　衡量指标 278
10.3.5　Codex的逻辑推理能力是如何形成的 280
10.3.6　CodeGeeX的主要功能 281
10.3.7　CodeGeeX模型架构 282
10.4　如何将LaTeX数学公式语言转化为自然语言 283
10.5　使用PPO算法优化车杆游戏 283
10.5.1　构建策略网络 284
10.5.2　构建价值网络 285
10.5.3　构建PPO模型 285
10.5.4　定义超参数 287
10.5.5　实例化模型 287
10.5.6　训练模型 288
10.5.7　可视化迭代 289
10.6　使用RLHF算法提升GPT-2性能 289
10.6.1　基于中文情绪识别模型的正向评论生成机器人 290
10.6.2　对评论进行人工打分 294
10.6.3　标注排序序列替代直接打分 294
10.7　ChatGPT如何提升思维链推断能力 300
10.8　ChatGPT如何提升模型的数学逻辑推理能力 301
第11章　扩散模型 303
11.1　扩散模型简介 303
11.1.1　DDPM 304
11.1.2　扩散概率模型 304
11.1.3　正向扩散过程 305
11.1.4　反向扩散过程 306
11.1.5　正向扩散过程的数学细节 306
11.1.6　反向扩散过程的数学细节 308
11.1.7　训练目标和损失函数 309
11.2　使用PyTorch从零开始编写 DDPM 312
11.2.1　定义超参数 312
11.2.2　创建数据集 312
11.2.3　创建数据加载器 314
11.2.4　可视化数据集 314
11.2.5　DDPM架构 315
11.2.6　用残差块取代双卷积模块的优势 316
11.2.7　创建扩散类 317
11.2.8　正向扩散过程 318
11.2.9　可视化正向扩散过程 318
11.2.10　基于训练算法和采样算法的训练 319
11.2.11　从零开始训练DDPM 321
11.2.12　使用DDPM生成图像 323
第12章　多模态模型 325
12.1　CLIP简介 325
12.1.1　CLIP如何将图像与图像描述进行对齐 326
12.1.2　CLIP如何实现零样本 分类 328
12.1.3　CLIP原理 328
12.1.4　从零开始运行CLIP 330
12.1.5　CLIP应用 335
12.2　Stable Diffusion模型 335
12.2.1　Stable Diffusion模型的直观理解 335
12.2.2　Stable Diffusion模型的原理 336
12.3　从零开始实现Stable Diffusion 337
12.3.1　文生图 337
12.3.2　根据提示词修改图 341
12.4　Stable Diffusion 升级版简介 343
12.4.1　Stable Diffusion 2.0 344
12.4.2　Stable Diffusion XL 345
12.5　DALL·E模型 346
12.5.1　DALL·E简介 346
12.5.2　DALL·E 2简介 346
12.5.3　DALL·E 2与GAN的异同 348
12.5.4　DALL·E 3简介 348
第13章　AIGC的数学基础 350
13.1　矩阵的基本运算 350
13.1.1　矩阵加法 351
13.1.2　矩阵点积 351
13.1.3　转置 351
13.1.4　矩阵的阿达马积 352
13.1.5　行列式 352
13.2　随机变量及其分布 353
13.2.1　从随机事件到随机变量 354
13.2.2　离散型随机变量及其分布 355
13.2.3　连续型随机变量及其分布 357
13.2.4　随机变量的分布函数 359
13.2.5　多维随机变量及其分布 361
13.2.6　随机变量的数字特征 369
13.2.7　随机变量函数的分布 371
13.3　信息论 377
13.3.1　信息量 377
13.3.2　信息熵 377
13.3.3　条件熵 378
13.3.4　互信息 378
13.3.5　KL散度 379
13.3.6　交叉熵 379
13.3.7　JS散度 383
13.3.8　Wasserstein距离 383
13.3.9　困惑度 384
13.4　推断 384
13.4.1　极大似然估计 385
13.4.2　极大后验概率估计 390
13.4.3　EM算法 393
13.4.4　变分推断 404
13.4.5　马尔可夫链蒙特卡罗随机采样 405
13.5　强化学习 418
13.5.1　强化学习基本概念 418
13.5.2　强化学习基础算法 425
13.5.3　策略梯度 427