自然语言处理:基于机器学习视角

目录
中文版序
译者序
前言
符号表
**部分　基础知识
第1章　绪论　2
1.1　自然语言处理的概念　2
1.2　自然语言处理任务　3
1.2.1　基础任务　4
1.2.2　信息抽取任务　12
1.2.3　应用　16
1.2.4　小结　18
1.3　机器学习视角下的自然语言
处理任务　18
总结　19
注释　19
习题　19
参考文献　21
第2章　相对频率　35
2.1　概率建模　35
2.1.1　*大似然估计　35
2.1.2　词概率建模　36
2.1.3　模型与概率分布　37
2.2　n元语言模型　41
2.2.1　一元语言模型　41
2.2.2　二元语言模型　43
2.2.3　三元及高阶语言模型　46
2.2.4　生成式模型　48
2.3　朴素贝叶斯文本分类器　49
2.3.1　朴素贝叶斯文本分类　50
2.3.2　文本分类器的评估　52
2.3.3　边缘概率的计算　53
2.3.4　特征　53
总结　54
注释　54
习题　54
参考文献　56
第3章　特征向量　57
3.1　文本在向量空间中的表示　57
3.1.1　聚类　59
3.1.2　k均值聚类　61
3.1.3　分类　62
3.1.4　支持向量机　63
3.1.5　感知机　65
3.2　多分类　66
3.2.1　定义基于输出的特征　67
3.2.2　多分类支持向量机　68
3.2.3　多分类感知机　69
3.3　线性判别式模型　70
3.3.1　判别式模型及其特征　70
3.3.2　线性模型的点积形式　72
3.4　向量空间与模型训练　72
3.4.1　可分性与泛化性　72
3.4.2　处理非线性可分数据　73
总结　74
注释　74
习题　74
参考文献　76
第4章　判别式线性分类器　 78
4.1　对数线性模型　78
4.1.1　二分类对数线性模型的训练　79
4.1.2　多分类对数线性模型的训练　83
4.1.3　利用对数线性模型进行分类　85
4.2　基于随机梯度下降法训练支持向量机　85
4.2.1　二分类支持向量机的训练　86
4.2.2　多分类支持向量机的训练　87
4.2.3　感知机训练的目标函数　88
4.3　广义线性模型　88
4.3.1　统一在线训练　89
4.3.2　损失函数　89
4.3.3　正则化　92
4.4　模型融合　92
4.4.1　模型性能比较　92
4.4.2　模型集成　93
4.4.3　半监督学习　95
总结　96
注释　96
习题　97
参考文献　99
第5章　信息论观点　101
5.1　*大熵原理　101
5.1.1　朴素*大熵模型　103
5.1.2　条件熵　104
5.1.3　*大熵模型与训练数据　105
5.2　KL散度与交叉熵　108
5.2.1　交叉熵和*大似然估计　109
5.2.2　模型困惑度　110
5.3　互信息　111
5.3.1　点互信息　112
5.3.2　基于点互信息的文本挖掘　113
5.3.3　基于点互信息的特征选取　115
5.3.4　词的点互信息与向量表示　115
总结　117
注释　117
习题　117
参考文献　120
第6章　隐变量　121
6.1　期望*大算法　121
6.1.1　k均值算法　123
6.1.2　期望*大算法介绍　125
6.2　基于期望*大算法的隐变量模型　127
6.2.1　无监督朴素贝叶斯模型　127
6.2.2　IBM模型1　130
6.2.3　概率潜在语义分析　136
6.2.4　生成模型的相对优势　138
6.3　期望*大算法的理论基础　138
6.3.1　期望*大与KL散度　139
6.3.2　基于数值优化的期
望*大算法推导　140
总结　141
注释　142
习题　142
参考文献　144
第二部分　结构研究
第7章　生成式序列标注任务　146
7.1　序列标注　146
7.2　隐马尔可夫模型　147
7.2.1　隐马尔可夫模型的训练　149
7.2.2　解码　149
7.3　计算边缘概率　153
7.3.1　前向算法　154
7.3.2　后向算法　154
7.3.3　前向-后向算法　156
7.3.4　二阶隐马尔可夫模型的前向-后向算法　156
7.4　基于期望*大算法的无监督隐马尔可夫模型训练　158
总结　164
注释　164
习题　165
参考文献　166
第8章　判别式序列标注任务　168
8.1　局部训练的判别式序列标注模型　168
8.2　标注偏置问题　171
8.3　条件随机场　172
8.3.1　全局特征向量　173
8.3.2　解码　174
8.3.3　边缘概率计算　175
8.3.4　训练　178
8.4　结构化感知机　181
8.5　结构化支持向量机　184
总结　186
注释　186
习题　186
参考文献　188
第9章　序列分割　189
9.1　基于序列标注的序列分割任务　189
9.1.1　面向分词的序列标注特征　190
9.1.2　面向句法组块分析的序列标注特征　192
9.1.3　面向命名实体识别的序列标注特征　192
9.1.4　序列分割输出的评价方式　193
9.2　面向序列分割的判别式模型　193
9.2.1　分词中的词级别特征　194
9.2.2　基于动态规划的精确搜索解码　195
9.2.3　半马尔可夫条件随机场　197
9.2.4　*大间隔模型　202
9.3　结构化感知机与柱搜索　203
9.3.1　放宽特征局部约束　204
9.3.2　柱搜索解码　205
总结　207
注释　207
习题　207
参考文献　208
第10章　树结构预测　210
10.1　生成式成分句法分析　210
10.1.1　概率上下文无关文法　212
10.1.2　CKY解码　213
10.1.3　成分句法解析器的性能评估　215
10.1.4　边缘概率的计算　215
10.2　成分句法分析的特征　218
10.2.1　词汇化概率上下文无关文法　218
10.2.2　判别式成分句法分析模型　221
10.2.3　面向成分句法分析的对数线性模型　222
10.