预训练语言模型

第 1 章 预训练语言模型简介 1
1．1自然语言处理研究进展 1
1．2预训练语言模型：为什么要预训练 4
1．2．1预训练 4
1．2．2自然语言表示 5
1．2．3预训练语言模型发展史及分类 8
第 2 章 预训练语言模型基础知识 13
2．1统计语言模型 14
2．2神经网络语言模型 17
2．3词向量：解决相似单词的距离问题 19
2．4RNN 和 LSTM 基础 25
2．5基于 RNN 的语言模型 29
2．6ELMo：解决多义词的表示问题 32
第 3 章 Transformer 与 Attention 37
3．1Transformer 的结构 37
3．2Self-Attention：从全局中找到重点 43
3．3位置编码：为什么有效 54
3．4单向掩码：另一种掩码机制 58
3．5代码解读：模型训练技巧 61
3．5．1训练技巧 1：归一化层前置 62
3．5．2训练技巧 2：梯度累积 64
第 4 章 GPT 系列模型 69
4．1GPT 的结构：基于 Transformer Decoder 69
4．2GPT 任务改写：如何在不同任务中使用 GPT 71
4．3GPT 核心代码解读 74
4．4GPT-2：Zero-shot Learning 的潜力 79
4．4．1N-shot Learning 79
4．4．2核心思想 80
4．4．3模型结构 81
4．5GPT-3：Few-shot Learning 的优秀表现 82
4．5．1看词造句 84
4．5．2语法纠错 84
4．5．3GPT-3 的争议 85
第 5 章 BERT 模型 87
5．1BERT：公认的里程碑 87
5．2BERT 的结构：强大的特征提取能力 88
5．3无监督训练：掩码语言模型和下句预测 91
5．3．1MLM 91
5．3．2NSP 93
5．3．3输入表示 94
5．4微调训练：适应下游任务 95
5．4．1句对分类 95
5．4．2单句分类 96
5．4．3文本问答 97
5．4．4单句标注 99
5．5核心代码解读：预训练和微调 100
5．5．1BERT 预训练模型 101
5．5．2BERT 微调模型 110
5．6BERT 总结 117
第 6 章 后 BERT 时代的模型 119
6．1XLM：跨语言模型 119
6．1．1优化方向 119
6．1．2算法细节 120
6．1．3 小结 121
6．2MT-DNN：多任务融合 121
6．2．1优化方向 121
6．2．2算法细节 122
6．2．3 小结 124
6．3UniLM：获得文本生成能力 124
6．3．1优化方向 124
6．3．2算法细节 125
6．3．3 小结 127
6．4SpanBERT：扩大掩码范围 127
6．4．1优化方向 127
6．4．2算法细节 128
6．4．3 小结 129
6．5XLNet：置换自回归 130
6．5．1优化方向 130
6．5．2算法细节 130
6．5．3 小结 135
6．6ERNIE：知识图谱 136
6．6．1优化方向 136
6．6．2算法细节 136
6．6．3 小结 139
6．7VideoBERT：多模态融合 139
6．7．1优化方向 139
6．7．2算法细节 140
6．7．3 小结 141
6．8ALBERT：参数共享 142
6．8．1优化方向 142
6．8．2算法细节 143
6．8．3 小结 145
6．9RoBERTa：更大的模型 145
6．9．1优化方向 145
6．9．2算法细节 146
6．9．3 小结 146
6．10BART：编解码结构 146
6．10．1优化方向 146
6．10．2算法细节 147
6．10．3 小结 149
6．11T5：大一统模型 149
6．11．1优化方向 149
6．11．2算法细节 150
6．11．3 小结 153
6．12 总结 154
第 7 章 评测和应用 157
7．1评测任务 157
7．1．1通用评测任务 157
7．1．2领域评测任务 162
7．1．3其他评测任务 167
7．2模型应用：Transformers 代码实战 168
7．2．1 安装 168
7．2．2快速上手指南 170
7．2．3微调训练 172
7．2．4BERT 应用 175
7．3模型压缩：量化、剪枝和蒸馏 179
7．3．1BERT 模型分析 179
7．3．2 量化 181
7．3．3 剪枝 181
7．3．4 蒸馏 182
7．3．5 结构无损压缩 187
7．4模型扩展：多模态预训练 188
7．4．1单流模型 189
7．4．2双流模型 191
第 8 章 总结和展望 195
8．1预训练语言模型的发展现状 195
8．2预训练语言模型的未来展望 199
参考文献 203