自然语言处理技术与应用

单元1 绪论 1.1 自然语言和编程语言 1.1.1 自然语言简介 1.1.2 编程语言简介 1.1.3 自然语言和编程语言的相通性 1.2 自然语言处理和信息抽取 1.3 自然语言处理和机器学习 1.4 语料库 1.4.1 通用单语语料库 1.4.2 汉英双语平行语料库 1.4.3 任务专门语料库 实战应用一：信贷违约预测 实战应用二：电子病例解析 单元小结 习题 单元2 分词和字典 2.1 分词 2.1.1 中文分词的原理和难点 2.1.2 基于字典的中文分词方法 2.1.3 主流的中文分词工具 2.2 字典树 2.2.1 字典树概述 2.2.2 字典树的作用 2.2.3 字典树的简易实现 2.3 切分算法 2.3.1 切分算法概述 2.3.2 切分算法 2.3.3 长匹配算法 2.4 评测指标 2.4.1 机器学习中的准确率 2.4.2 机器学习中的 率、召回率与F-score 2.4.3 NLP中的 率、召回率和F-score 实战应用：使用HanLP词典实现中文分词 单元小结 习题 单元3 数据预处理 3.1 数据清洗 3.2 分词处理 3.3 特征工程 3.3.1 处理流程 3.3.2 常用的中文文本处理函数 实战应用一：英文新闻资讯数据清洗 实战应用二：中文新闻资讯数据清洗 单元小结 习题 单元4 语言模型和算法流程 4.1 隐马尔可夫链和二元语法 4.1.1 隐马尔可夫链背景引入 4.1.2 隐马尔可夫链定义 4.1.3 二元语法