自然语言处理——基于深度学习的理论与案例

第1部分神经网络与深度学习
第1章人工神经网络/3
1.1起源和发展3
1.2什么是深度学习5
1.3神经网络的表示8
1.4数学基础理论12
1.4.1数据类型12
1.4.2函数基础15
1.4.3线性代数20
1.4.4梯度计算28
1.4.5概率分布30
1.4.6代码示例36
1.5机器学习基础38
1.5.1什么是分类40
1.5.2一个简单的分类器: 朴素贝叶斯45
1.5.3一个简单的神经网络: 逻辑回归47
1.5.4评估分类结果54
1.6表征学习57
1.6.1主成分分析58
1.6.2词袋的表征66
第2章前馈神经网络/69
2.1单层感知器69
2.2三层神经网络75
2.3激活函数80
2.3.1线性函数80
2.3.2逻辑函数81
2.4更新权重87
2.4.1学习规则87
2.4.2反向传播95
2.4.3梯度下降102
2.5代码示例105
2.6修改和扩展107
2.6.1预期泛化误差108
2.6.2正则化的思想113
2.6.3调整超参数119
2.6.4其他的问题123
〖1〗自然语言处理——基于深度学习的理论与案例目录〖3〗〖3〗第3章深度学习网络/126
3.1深度的定义127
3.2卷积神经网络128
3.2.1什么是卷积计算129
3.2.2感受野与卷积层131
3.2.3特征图和池化层136
3.2.4一个卷积网络138
3.2.5用于文本分类141
3.3循环神经网络143
3.3.1不等长序列143
3.3.2循环连接的构成145
3.3.3长短期记忆网络148
3.3.4三种训练方法152
3.3.5一个简单的实现155
3.4深度分布式表征160
3.4.1自编码器160
3.4.2神经语言模型167
第2部分自然语言处理与转换器网络
第4章自然语言处理/179
4.1历史发展179
4.2常见任务183
4.2.1字符和语音识别183
4.2.2形态分析183
4.2.3句法分析185
4.2.4词汇语义186
4.2.5关系语义187
4.2.6话语188
4.2.7高级任务190
4.3未来趋势192
4.4认识转换器195
4.4.1编码器到解码器框架196
4.4.2注意力机制198
4.4.3迁移学习201
4.4.4Hugging Face生态205
4.4.5面对挑战211
第5章转换器网络/212
5.1转换器介绍212
5.2理解编码器215
5.2.1输入嵌入层217
5.2.2位置编码218
5.2.3多头自注意力层221
5.2.4残值连接与层归一化230
5.2.5前馈网络层232
5.3理解解码器233
5.3.1掩码多头注意力层235
5.3.2多头注意力层239
5.3.3线性层和Softmax层242
5.3.4运行流程243
5.4训练转换器244
5.5转换器家族246
5.5.1编码器分支246
5.5.2解码器分支253
5.5.3编码器到解码器分支255
5.6概括258
第3部分自然语言处理案例分析
第6章文本分类案例分析/261
6.1数据集261
6.1.1查看数据262
6.1.2转换到数据框265
6.1.3查看类别分布266
6.1.4查看推文长度266
6.2从文本到标记267
6.2.1字符标记化267
6.2.2词标记化269
6.2.3子词标记化270
6.2.4整个数据集272
6.3训练分类器274
6.3.1特征提取器275
6.3.2微调转换器283
第7章实体识别案例分析/288
7.1数据集288
7.2多语言转换器292
7.3标记化管道294
7.4模型类剖析297
7.4.1模型体和头297
7.4.2创建自定义模型297
7.4.3加载自定义模型299
7.5标记文本301
7.6绩效衡量303
7.7微调XLMR304
7.8错误分析305
第8章文本生成案例分析/310
8.1生成连贯文本310
8.2贪心搜索解码311
8.3集束搜索解码313
8.4抽样方法317
第9章文本摘要案例分析/323
9.1数据集323
9.2文本摘要管道324
9.2.1基线324
9.2.2GPT2325
9.2.3T5325
9.2.4BART326
9.2.5PEGASUS326
9.2.6比较不同327
9.3衡量指标328
9.3.1BLEU 328
9.3.2ROUGE333
第10章问答系统案例分析/336
10.1基于评审的问答系统336
10.1.1数据集337
10.1.2从文本中提取答案340
参考文献/349