深度学习在自然语言处理中的应用 从词表征到CHATGPT

前言 iii

第 1章 绪论 1

1.1 机器学习简介 1

1.1.1 机器学习的发展历程 1

1.1.2 机器学习的算法分类 4

1.2 深度学习简介 5

1.3 自然语言处理简介 7

1.3.1 自然语言处理的发展历程 7

1.3.2 自然语言处理的研究方向 8

1.3.3 自然语言理解的主要任务 8

1.3.4 自然语言生成的任务 14

1.3.5 自然语言处理面临的挑战 15

1.4 自然语言处理与机器学习和深度学习 16

第 2章 深度学习基础 17

2.1 前馈神经网络 17

2.2 卷积神经网络 20

2.3 循环神经网络 24

2.4 长短期记忆网络 26

2.5 记忆网络和神经图灵机 28

2.6 图神经网络 30

2.7 深度生成模型 33

2.7.1 自编码器和变分自编码器 34

2.7.2 生成对抗网络 39

2.8 Transformer 39

2.8.1 Transformer的编码模块 41

2.8.2 Transformer的解码模块 42

第3章 词表征 44

3.1 语言模型 45

3.2 基于矩阵的词分布表征模型 46

3.2.1 潜在语义分析 46

3.2.2 GloVe 47

3.3 基于聚类的词分布表征模型 48

3.4 基于神经网络的词分布表征模型 49

3.4.1 NNLM 50

3.4.2 RNNLM 52

3.4.3 Collobert-Weston模型 53

3.4.4 Word2Vec 54

3.4.5 ELMo 58

3.4.6 ULMFit 60

3.4.7 GPT 61

3.4.8 BERT 62

3.4.9 T5 64

3.5 跨语言的词嵌入模型 64

3.5.1 基于词对齐 65

3.5.2 基于预训练的方法 66

3.6 其他表征 67

第4章 注意力机制 69

4.1 注意力机制的由来 69

4.2 注意力机制的扩展 72

4.2.1 全局注意力和局部注意力 72

4.2.2 自注意力 75

4.3 NTM和MemNN的注意力机制 77

4.3.1 NTM的注意力机制 78

4.3.2 MemN2N的注意力机制 79

4.4 指针网络的注意力机制 81

第5章 迁移学习 83

5.1 迁移学习的定义和分类 83

5.2 领域自适应 86

5.2.1 基于样本的迁移学习 86

5.2.2 基于特征映射的迁移学习 88

5.2.3 基于对抗的深度迁移学习 91

5.3 多任务学习 91

5.4 序列迁移学习 94

5.4.1 预训练语言模型 95

5.4.2 微调 95

5.5 跨语言的迁移学习 97

第6章 强化学习 98

6.1 强化学习的定义 99

6.1.1 马尔可夫决策过程 99

6.1.2 强化学习的模型 100

6.1.3 智能体的策略 101

6.1.4 价值函数 101

6.2 贝尔曼方程 103

6.3 强化学习的分类 104

6.3.1 有模型学习 105

6.3.2 免模型学习 107

6.3.3 基于值函数和基于策略函数的学习 112

6.4 深度强化学习 115

6.5 深度强化学习在NLP中的应用 116

第7章 机器翻译 117

7.1 机器翻译的发展历程 117

7.2 神经机器翻译 118

7.3 基于RNN的Seq2Seq模型 120

7.4 基于CNN的Seq2Seq模型 124

7.5 神经机器翻译的策略 126

7.5.1 解码策略 126

7.5.2 估计softmax函数计算 127

7.5.3 缩小词典 127

7.5.4 处理生僻词和未知词 128

7.6 机器翻译的评价方法 129

7.6.1 人工评价 130

7.6.2 下游系统评价 130

7.6.3 BLEU 130

第8章 文本摘要 132

8.1 抽取式摘要 132

8.1.1 传统机器学习方法 133

8.1.2 深度学习方法 135

8.2 生成式摘要 136

8.2.1 传统机器学习方法 137

8.2.2 深度学习方法 137

8.3 文本摘要的评价 139

第9章 自动问答 140

9.1 基于检索的自动问答 140

9.1.1 文本检索模块 141

9.1.2 文本理解模块 143

9.2 基于知识库的自动问答 146

9.3 基于社区的自动问答 148

9.3.1 专家推荐 148

9.3.2 相似问题检索 149

9.3.3 答案质量评估 149

9.4 深度自动问答系统 150

9.4.1 抽取式机器阅读理解 150

9.4.2 生成式机器阅读理解 151

9.5 自动问答系统的评价 151

第 10章 对话系统 153

10.1 面向任务的对话系统 154

10.1.1 自然语言理解 155

10.1.2 对话管理 155

10.1.3 自然语言生成 157

10.2 开放域对话系统 158

10.2.1 检索式方法 159

10.2.2 生成式方法 159

10.2.3 混合方法 160

10.2.4 开放域对话系统的关键问题 160

10.3 对话系统的评测 162

第 11章 情感分析 164

11.1 情感分析的分类 165

11.1.1 文档级情感分析 166

11.1.2 句子级情感分析 167

11.1.3 方面级情感分析 168

11.1.4 监督学习和基于词典的方法比较 169

11.2 方面和实体提取 170

11.2.1 挖掘频繁出现的名词短语 170

11.2.2 利用情感词与目标词之间的语法关系 170

11.2.3 应用监督学习模型 171

11.2.4 使用主题模型 171

11.3 情感词典 172

11.3.1 基于词典的方法 172

11.3.2 基于语料库的方法 172

11.4 多模态情感分析 173

第 12章 ChatGPT 174

12.1 大型语言模型 174

12.1.1 语言模型的演化 175

12.1.2 大型语言模型的训练 176

12.1.3 语境学习 176

12.1.4 提示工程 177

12.2 基于人工反馈的强化学习方法 179

12.3 生成ChatGPT 180

12.3.1 步骤1：微调GPT-3.5 180

12.3.2 步骤2：训练奖励模型 180

12.3.3 步骤3：利用强化学习微调ChatGPT 181

12.4 ChatGPT的发展 181

参考文献 183