基于深度学习的自然语言处理

第1章自然语言处理与深度学习概述1

1.1自然语言处理的概况1

1.2**大浪潮：理性主义2

1.3第二大浪潮：经验主义4

1.4第三大浪潮：深度学习7

1.5从现在到未来的转变11

1.5.1从经验主义到深度学习的变革11

1.5.2当前深度学习技术的限制12

1.6自然语言处理未来的发展方向13

1.6.1神经符号集成(NeuralSymbolic Integration)13

1.6.2结构、记忆和知识15

1.6.3无监督和生成式深度学习15

1.6.4多模式和多任务深度学习16

1.6.5元学习17

1.7结论18第2章基于深度学习的对话语言理解20

2.1引言20

2.2历史性视角22

2.3主要的语言理解任务24

2.3.1域检测和意图识别24

2.3.2填槽24

2.4提升技术水平：从统计建模到深度学习25

2.4.1域检测和意图识别25

2.4.2填槽28

2.4.3联合多任务多域模型35

2.4.4上下文理解37

2.5结论40第3章基于深度学习的语音与文本对话系统43

3.1引言43

3.2系统组件的学习方法46

3.2.1判别性方法47

3.2.2生成性方法48

3.2.3决策性方法49

3.3目标导向型神经对话系统49

3.3.1神经语言理解49

3.3.2对话状态追踪器50

3.3.3深度对话管理器51

3.4基于模型的用户模拟器53

3.5自然语言生成54

3.6基于端到端深度学习构建对话系统57

3.7面向开放式对话系统的深度学习59

3.8对话建模的数据集60

3.8.1卡内基·梅隆传播语料库60

3.8.2ATIS：航空旅行信息系统飞行员语料库60

3.8.3对话状态追踪挑战数据集60

3.8.4Maluuba框架数据集61

3.8.5Facebook对话数据集62

3.8.6Ubuntu对话语料库63

3.9开源对话软件63

3.10对话系统评估65

3.11结论67第4章基于深度学习的词法分析和句法分析68

4.1引言68

4.2典型的词法分析和句法分析任务69

4.2.1分词69

4.2.2词性标注70

4.2.3句法分析70

4.2.4结构化预测问题72

4.3结构化预测74

目录4.3.1基于图的方法75

4.3.2基于转移的方法77

4.4基于神经图的方法82

4.4.1神经条件随机场82

4.4.2基于图的神经依存句法分析84

4.5基于神经转移的方法86

4.5.1贪婪移位减少依存句法分析86

4.5.2贪婪序列标注90

4.5.3全局优化模型94

4.6结论101第5章基于深度学习的知识图谱102

5.1引言102

5.1.1基本概念103

5.1.2典型的知识图谱103

5.2知识表征学习107

5.3神经关系抽取109

5.3.1语句级NRE109

5.3.2文档级NRE115

5.4知识与文本的桥梁:实体连接116

5.4.1实体连接框架117

5.4.2用于实体连接的深度学习120

5.5结论127第6章基于深度学习的机器翻译129

6.1引言129

6.2统计机器翻译及其面对的挑战130

6.2.1基本原理130

6.2.2统计机器翻译所面对的挑战133

6.3基于组件深度学习的机器翻译134

6.3.1用于词对齐的深度学习与基于深度学习的词对齐134

6.3.2用于翻译规则概率估计的深度学习137

6.3.3用于短语调序的深度学习140

6.3.4用于语言建模的深度学习142

6.3.5用于特征组合的深度学习143

6.4基于端到端深度学习的机器翻译146

6.4.1编码器解码器框架146

6.4.2机器翻译的神经注意力148

6.4.3处理大词汇量的技术挑战150

6.4.4使用端到端训练直接优化评估指标152

6.4.5结合先验知识153

6.4.6低资源语言翻译156

6.4.7神经机器翻译中的网络结构158

6.4.8SMT和NMT的结合159

6.5结论161第7章基于深度学习的问答系统163

7.1引言163

7.2基于深度学习的KBQA164

7.2.1信息提取范式165

7.2.2语义分析范式169

7.2.3对比信息提取范式与语义分析范式174

7.2.4数据集174

7.2.5挑战176

7.3基于深度学习的机器阅读理解177

7.3.1任务描述177

7.3.2基于特征工程的方法182

7.3.3基于深度学习的方法186

7.4结论191第8章基于深度学习的情感分析194

8.1引言194

8.2特殊情感词嵌入196

8.3语句级情感分类201

8.3.1卷积神经网络202

8.3.2循环神经网络204

8.3.3递归神经网络207

8.3.4整合外部资源209

8.4文档级情感分类210

8.5细粒度情感分析213

8.5.1意见挖掘214

8.5.2针对特定目标的情感分析215

8.5.3方面级情感分析218

8.5.4立场检测221

8.5.5讽刺识别222

8.6结论223第9章基于深度学习的社会计算224

9.1引言224

9.2基于深度学习对用户生成内容进行建模228

9.2.1传统的语义表征方法229

9.2.2基于浅层嵌入技术的语义表征229

9.2.3基于深度神经网络的语义表征232

9.2.4运用注意力机制增强语义表征236

9.3基于深度学习建立社会联系模型237

9.3.1社交媒体中的社交联系237

9.3.2建模社会关系的网络表征学习方法238

9.3.3基于浅层嵌入的模型239

9.3.4基于深度神经网络的模型243

9.3.5网络嵌入的应用244

9.4基于深度学习的推荐系统245

9.4.1社交媒体中的推荐系统245

9.4.2传统推荐算法246

9.4.3基于浅层嵌入的模型246

9.4.4基于深度神经网络的模型248

9.5结论254第10章基于深度学习的图像描述255

10.1引言255

10.2背景介绍256

10.3图像描述的深度学习框架257

10.3.1端到端框架257

10.3.2组合框架260

10.3.3其他框架262

10.4评估指标和基准263

10.5图像描述的工业部署264

10.6示例：图像中的自然语言描述265

10.7从图像生成文体自然语言的研究进展268

10.8结论270第11章后记：深度学习时代下自然语言处理的前沿研究271

11.1引言271

11.2两个新视角272

11.2.1以任务为中心的视角273

11.2.2以表征为中心的视角274

11.3基于深度学习的NLP的*新研究进展与热点276

11.3.1组合性泛化276

11.3.2NLP中的无监督学习277

11.3.3NLP中的强化学习278

11.3.4NLP中的元学习280

11.3.5弱可解释性与强可解释性282

11.4结论284附录参考答案288术语表360