自然语言理解

第 1章自然语言处理概要 1 1.1自然语言处理的概念和术语 .1 1.1.1自然语言 .1 1.1.2自然语言处理与自然语言理解 .2 1.1.3计算语言学 3 1.2自然语言处理的技术性挑战 .4 1.3机器翻译 7 1.4语言处理层次 .9 1.5应用型自然语言处理：人机对话系统 16 1.6自然语言处理的学术出版体系 19
参考文献25 第 2章 n元语言模型.27 2.1概率论基础.27 2.2语言模型用于语言生成 29 2.3 n元语言模型的工作方式及马尔可夫假设 .30 2.3.1 n元机制 .30 2.3.2马尔可夫假设.31 2.4评价指标：困惑度.32 2.5 n元语言模型的平滑方法.33 2.5.1 Laplace平滑（加一平滑）34 2.5.2 Good-Turing平滑 35 2.5.3 Jelinek-Mercer平滑 .36 2.5.4 Katz平滑37 2.5.5 Kneser-Ney平滑 37 2.5.6 Pitman-Yor语言模型 .39 2.6非 n元机制的平滑方法 .41 2.6.1缓存 41 2.6.2跳词 41 2.6.3聚类 42 2.7平滑方法的经验结果 .43 2.8 n元语言模型的建模工具.44 参考文献45 XII自然语言理解
第 3章语言编码表示 .47 3.1独热表示 47 3.2特征函数 49 3.3通用特征模板 .52 3.4加权的独热表示：TF-IDF.53
参考文献55 第 4章非监督的结构化学习 .56 4.1自然语言处理的方法构成.56 4.2简单任务：词/子词切分 58 4.3切分算法 58 4.3.1通用切分框架.58 4.3.2全局优度*大化：Viterbi解码算法 .59 4.3.3局部优度*大化：贪心解码算法 59 4.4优度度量 60 4.4.1频率 60 4.4.2邻接多样性 61 4.4.3分支熵.62 4.4.4描述长度增益.63 4.4.5点互信息 .63 4.4.6学生 t测试64 4.5非监督分词.64 4.5.1数据集和评估指标 64 4.5.2词典预处理技巧 .65 4.5.3性能 66 4.6推广的字节对编码切分算法 .67
参考文献67 第 5章结构化学习 69 5.1机器学习的粒度和语言单元 .69 5.2结构化学习的必要性 .72 5.3自然语言处理中的结构化学习任务 .74 5.4退化为分类任务 76 5.5结构分解 78 5.6共时结构分解：图模型 78 5.7历时结构分解：转移模型.82 5.8两类结构化分解方式的优劣 .83 5.9结构化学习的简化情形 84
参考文献85 目录 XIII
第 6章结构上的标注任务 86 6.1从结构标注到序列标注 86 6.2局部马尔可夫模型.88 6.3全局马尔可夫模型和条件随机场.90 6.3.1全局马尔可夫模型 90 6.3.2马尔可夫随机场 .91 6.3.3条件随机场 92 6.4隐马尔可夫模型 95 6.4.1从马尔可夫链到隐马尔可夫模型 95 6.4.2隐马尔可夫模型的基本计算任务：概率估计 .96 6.4.3隐马尔可夫模型的训练：参数估计.99 6.4.4隐马尔可夫模型的解码：Viterbi算法99 6.5自然语言处理中的结构标注任务. 100 6.5.1再标注的序列标注任务 . 100 6.5.2词性标注任务的隐马尔可夫模型实现示例. 102 6.5.3推广的分词建模：不等单元的结构分解 105
参考文献 107 第 7章机器学习模型 . 109 7.1机器学习模型的要素配置. 109 7.2损失函数 111 7.3 k近邻方法 . 116 7.4感知机 . 119 7.5铰链损失与支持向量机 124 7.5.1*大化间隔 125 7.5.2惩罚项导出的软边界. 128 7.5.3映射到高维空间 . 129 7.5.4核函数. 132 7.5.5支持向量机的训练算法 . 134 7.5.6多类支持向量机 . 136 7.5.7支持向量机工具包 136 7.5.8支持向量机总结 . 138 7.6交叉熵损失与*大熵模型. 138 7.6.1*大似然估计：对数-线性模型 139 7.6.2*大熵原理 143 7.6.3平滑 145 7.6.4*大熵模型的工具包. 146 7.7从神经元学习到神经网络. 146 参考文献 147 XIV自然语言理解
第 8章深度学习模型 . 150 8.1表示学习 152 8.2连续空间语言模型：词嵌入或词向量 154 8.2.1连续空间语言模型 154 8.2.2连续空间语言模型的机器学习解释. 156 8.2.3 Word2Vec和 GloVe词嵌入 159 8.2.4评估词向量 162 8.3神经网络的结构配置 . 167 8.3.1神经网络的拓扑连接方式 168 3.3.2激活函数 . 170 8.4深度学习模型的训练 . 175 8.4.1训练目标：输出表示和损失函数 175 8.4.2误差反向传播算法 178 8.4.3深度学习的训练管理器 . 179 8.5编码器-解码器建模 . 180 8.6编码器架构：循环神经网络 . 183 8.6.1循环神经网络的 BPTT训练算法 185 8.6.2长短时记忆网络 . 186 8.7编码器架构：卷积神经网络 . 188 8.7.1卷积 189 8.7.2池化 190 8.7.3卷积神经网络的结构. 191 8.8编码器架构：Transformer . 192 8.8.1自注意力机制. 192 8.8.2 Transformer网络结构 193 8.9编码器比较：RNN、CNN和 Transformer 196 8.10序列生成的解码过程 196 8.11符号主义对阵联结主义 199 8.12深度学习工具包 201
参考文献 203 第 9章预训练语言模型 206 9.1从表示学习到自监督学习. 206 9.2从 n元语言模型到预训练语言模型 207 9.3输入单元管理 . 211 9.4预训练语言模型的自回归解释 212 9.5以编辑操作定义自监督学习 . 216 9.6采样与预测目标的单元选择 . 217 目录 XV
9.7编码器架构. 218 9.8预训练语言模型方法的普适化 220 9.9预训练语言模型的强化策略 . 221 9.9.1知识增强 . 222 9.9.2多模态预训练语言模型 . 222 9.9.3模型优化 . 224 9.10典型的预训练语言模型 224
参考文献 228 第 10章句法分析 232 10.1句法分析概要 233 10.2成分/短语句法分析 . 235 10.2.1乔姆斯基文法层次体系 235 10.2.2上下文无关文法 237 10.2.3概率上下文无关文法 242 10.3依存句法 246 10.3.1带中心词标注的成分句法 . 246 10.3.2依存结构 247 10.3.3成分/短语结构到依存结构的转换 . 248 10.4句法标注语料：树库 250 10.5成分/短语句法分析算法. 251 10.5.1 CYK算法 251 10.5.2 Earley算法 254 10.6依存句法分析算法 . 255 10.6.1基于图模型的依存句法分析 255 10.6.2基于转换模型的依存句法分析 259 10.6.3非投影型依存分析 . 261 10.7句法分析的深度学习方法改进 264 10.8依存分析的序列到序列建模 266 10.9从容易优先分析到全局贪心分析 . 267 10.10句法分析的经验结果 270
参考文献 272 第 11章语义角色标注 . 279 11.1从语义分析到语义角色标注 279 11.2句法分析树上的语义图 281 11.3语义角色标注的规范和语料 283 11.4语义角色标注的建模方式 . 285 XVI自然语言理解
11.5句法特征集成：传统机器学习模型 291 11.6句法编码器：深度学习模型 292 11.7句法裁剪 297 11.8统一建模成分和依存语义角色标注 299 11.9语义角色标注中的句法角色变迁 . 300 11.10语义角色标注的经验结果 . 303
参考文献 304 第 12章机器阅读理解 . 307 12.1机器阅读理解任务的类型和评价指标 308 12.2机器阅读理解的深度学习建模 310 12.2.1编码器 312 12.2.2解码器 314 12.3对话理解 317 12.4面向推理的阅读理解 319 12.5常识问答 320 12.6开放域问答 . 322
参考文献 325 第 13章大语言模型及其前沿应用 334 13.1脑计划与预训练语言模型 . 334 13.2从预训练语言模型到大语言模型 . 336 13.3从提示学习到思维链推理 . 343 13.4对话式大语言模型 ChatGPT . 349 13.5知识边界 356
参考文献 363 后记. 366