网络文本分类与应用

第1章 绪论 1

1.1 智能语言处理 1

1.1.1 NLP与文本处理 1

1.1.2 文本信息抽取 3

1.2 网络文本分类应用 6

1.2.1 常见的应用领域 6

1.2.2 相关技术领域 11

1.3 文本分类步骤 15

1.3.1 文本预处理 15

1.3.2 文本分词 18

1.3.3 特征选择 18

1.3.4 数值化表示 19

1.3.5 分类器分类 21

1.4 本章小结 27

第2章 文本预处理 28

2.1 预处理环节 28

2.1.1 标记化 28

2.1.2 规范化 29

2.2 分词技术应用 33

2.2.1 常见应用领域 33

2.2.2 应用中涉及的主要问题 36

2.3 中文分词方法 40

2.3.1 基于词典匹配的分词 40

2.3.2 基于统计的序列标注技术 43

2.3.3 基于深度学习的分词 53

2.4 分词工具 54

2.4.1 Python中文分词工具 54

2.4.2 java中文分词工具 55

2.5 本章小结 57

第3章 特征表示与降维 58

3.1 文本表示模型 58

3.1.1 One-hot独热模型 58

3.1.2 向量空间模型 59

3.1.3 主题模型 60

3.1.4 神经网络语言模型 67

3.2 特征空间降维 78

3.2.1 特征选择 79

3.2.2 特征提取 83

3.3 小结 85