信息科学技术学术著作丛书藏语自然语言处理基本理论和方法

目录《信息科学技术学术著作丛书》序前言 第1章 藏语语法单位 1 1.1 藏文字符 1 1.2 藏文字 2 1.2.1 藏文字结构 2 1.2.2 藏文的书写及字体 3 1.3 藏语词语 3 1.3.1 格助词 4 1.3.2 不自由虚词 7 1.3.3 自由虚词 10 1.3.4 动词概述 12 1.4 藏语短语 13 1.5 藏语句子 14 1.5.1 藏语句子的特点 14 1.5.2 藏语句子的分类 14 第2章 理论基础 17 2.1 集合论基础 17 2.1.1 集合 17 2.1.2 字符串 18 2.1.3 函数 20 2.1.4 图 20 2.2 概率论基础 22 2.2.1 概率 22 2.2.2 **似然估计 23 2.2.3 条件概率 24 2.2.4 全概率公式与贝叶斯公式 24 2.2.5 独立性 26 2.2.6 随机变量 26 2.2.7 联合概率分布和条件概率分布 27 2.2.8 贝叶斯决策理论 28 2.2.9 期望和方差 29 2.3 信息论基础 30 2.3.1 信息熵 30 2.3.2 信息熵的性质 32 2.3.3 联合熵和条件熵 34 2.3.4 相对熵 35 2.3.5 互信息 35 2.3.6 交叉熵 36 2.3.7 困惑度 37 2.3.8 噪声信道 37 2.4 齐普夫定律 39 2.5 隐马尔可夫模型 41 2.5.1 马尔可夫模型 41 2.5.2 隐马尔可夫模型的基本原理 42 2.5.3 隐马尔可夫模型的三个基本问题 44 2.6 **熵模型 56 2.6.1 **熵模型的约束条件 57 2.6.2 **熵模型的原则 58 2.6.3 **熵模型的参数训练 58 2.7 条件随机场模型 59 2.7.1 条件随机场定义 60 2.7.2 条件随机场模型形式 61 2.7.3 条件随机场模型的参数估计 62 第3章 形式语言与自动机 64 3.1 形式语言 64 3.1.1 形式语言概述 64 3.1.2 形式文法 65 3.1.3 形式文法的类型 66 3.2 自动机 68 3.2.1 自动机概述 68 3.2.2 正规文法与自动机 72 第4章 字符编码 75 4.1 西文字符编码 75 4.2 ISO/IEC 10646与Unicode 76 4.2.1 缘起 76 4.2.2 ISO/IEC 10646体系结构 76 4.2.3 Unicode 79 4.3 中文字符编码 81 4.3.1 汉字字符编码 81 4.3.2 藏文字符编码 85 第5章 藏语语料库的建设 91 5.1 语料库概述 91 5.2 语料库的类型 91 5.3 典型语料库 93 5.4 藏语语料库建设中存在的问题 96 第6章 藏文信息熵 99 6.1 概述 99 6.2 藏文字符的信息熵 100 6.3 藏文字的信息熵 102 6.4 藏语语言模型及其困惑度 105 6.4.1 N元文法模型 105 6.4.2 困惑度 107 6.4.3 数据平滑 109 6.5 藏文输入法的数学模型 111 6.6 藏文文本自动校对 115 第7章 藏文拼写文法的形式化 118 7.1 藏文拼写文法形式化描述 118 7.1.1 术语定义 118 7.1.2 符号映射 119 7.1.3 藏文拼写文法规则 120 7.1.4 藏文的基本拼写结构 122 7.1.5 藏文拼写文法形式化描述 127 7.1.6 藏文拼写文法性质 131 7.2 藏文拼写形式语言 133 7.2.1 藏文拼写形式语言概述 133 7.2.2 藏文拼写形式文法 135 7.3 藏文字组成成分识别 186 7.3.1 藏文字组成成分的识别概述 186 7.3.2 藏文拼写形式文法使用中的二义性问题 188 第8章 藏语自动分词及词性和语义标注 190 8.1 藏语自动分词中的几个关键问题 190 8.1.1 紧缩词问题 190 8.1.2 歧义切分问题 193 8.1.3 未登录词问题 195 8.2 藏语自动分词方法 197 8.2.1 基于规则的分词方法 197 8.2.2 基于统计的分词方法 198 8.2.3 基于条件随机场模型的藏语分词方法 199 8.3 命名实体识别 206 8.3.1 概述 206 8.3.2 命名实体识别方法 207 8.4 词性标注 209 8.4.1 概述 209 8.4.2 词类标记集的确定 211 8.4.3 基于规则的词性标注方法 215 8.4.4 基于统计模型的词性标注方法 217 8.4.5 基于规则与统计相结合的词性标注方法 219 8.5 词义标注 221 8.5.1 概述 221 8.5.2 基于互信息的词义消歧方法 221 8.5.3 基于贝叶斯判别的词义消歧方法 223 8.5.4 基于词典的词义消歧方法 224 第9章 现代藏语短语结构及其形式化描述 225 9.1 概述 225 9.1.1 藏语短语的句法知识理论 225 9.1.2 藏语短语的句法功能分类 226 9.1.3 藏语短语规则的形式表达 229 9.2 名词性短语结构及其形式化描述 231 9.2.1 概述 231 9.2.2 定中结构的NP 232 9.2.3 联合结构的NP 240 9.3 动词性短语结构及其形式化描述 241 9.3.1 概述 241 9.3.2 主谓结构的VP 242 9.3.3 述宾结构的VP 244 9.3.4 述补结构的VP 246 9.3.5 动词联合的VP 250 9.3.6 状中结构的VP 251 9.4 形容词性短语结构及其形式化描述 252 9.4.1 概述 252 9.4.2 联合结构的AP 252 9.4.3 状中结构的AP 255 第10章 藏语句法分析 258 10.1 藏语句型概述 258 10.1.1 NP PP VP句型 258 10.1.2 NP VP句型 259 10.2 短语结构语法 260 10.2.1 形式语法 260 10.2.2 CFG句法分析 264 10.3 藏语CFG 句法分析 265 10.3.1 LR分析算法 265 10.3.2 句法树 273 10.4 依存语法 275 10.4.1 概述 275 10.4.2 依存句法分析方法 277 10.5 藏语依存句法分析 281 10.5.1 概述 281 10.5.2 藏语依存关系体系 282 10.5.3 确定性藏语依存句法分析 286 第11章 统计机器翻译原理 288 11.1 机器翻译概述 288 11.1.1 机器翻译技术的发展 288 11.1.2 机器翻译方法 289 11.2 统计机器翻译 291 11.3 基于噪声信道模型的统计机器翻译基本原理 291 11.4 统计语言模型 293 11.5 统计翻译模型 296 11.5.1 共现 296 11.5.2 对齐 297 11.5.3 IBM模型1 300 11.5.4 学习词汇翻译模型 301 11.5.5 其他更高级的IBM模型 304 参考文献 305