自然语言处理技术与应用

第 1章 自然语言处理初探1
1.1 什么是自然语言处理2
1.1.1 自然语言处理的概念2
1.1.2 自然语言处理的研究任务3
1.2 自然语言处理的发展历程5
1.3 自然语言处理相关知识的构成7
1.3.1 基础术语7
1.3.2 知识结构8
1.4 探讨自然语言处理的层面9
1.5 自然语言处理与人工智能10
1.5.1 智慧医疗11
1.5.2 智慧司法.11
1.5.3 智慧金融11
1.6 本章小结12
第 2章 使用Python进行自然语言基础处理13
2.1 正则表达式在自然语言处理中的基本应用14
2.1.1 匹配字符串14
2.1.2 使用转义符17
2.1.3 抽取文本中的数字18
2.2 NumPy使用详解 13.219
2.2.1 创建数组19
2.2.2 获取NumPy中数组的维度20
2.2.3 获取本地数据21
2.2.4 正确读取数据22
2.2.5 数组索引22
2.2.6 数组切片23
2.2.7 数组比较23
2.2.8 替代值24
2.2.9 数据类型转换25
2.2.10 NumPy的统计计算方法25
2.3 本章小结26
第3章 使用NLTK获取和构建语料库27
3.1 语料库基础28
3.2 NLTK29
3.2.1 NLTK简介29
3.2.2 安装NLTK30
3.2.3 使用NLTK31
3.2.4 在Python NLTK下使用Stanford NLP36
3.3 获取语料库40
3.3.1 通过语料库网站获取语料库40
3.3.2 通过编写程序获取语料库41
3.3.3 通过NLTK获取语料库42
3.4 综合案例：走进《红楼梦》44
3.4.1 数据采集和预处理44
3.4.2 构建本地语料库45
3.4.3 语料操作45
3.5 本章小结48
第4章 jieba中文分词49
4.1 中文分词简介50
4.2 规则分词50
4.2.1 正向*大匹配法51
4.2.2 逆向*大匹配法52
4.2.3 双向*大匹配法54
4.3 统计分词57
4.3.1 统计语言模型57
4.3.2 HMM58
4.3.3 其他统计分词算法65
4.4 混合分词65
4.5 Jieba高频词提取66
4.5.1 jieba的3种分词模式66
4.5.2 实战之高频词提取66
4.6 本章小结69
第5章 jieba词性标注71
5.1 词性标注简介72
5.2 词性标注规范72
5.3 jieba分词中的词性标注74
5.4 本章小结75
第6章 命名实体识别之日期识别和地名识别77
6.1 命名实体识别简介78
6.2 基于CRF的命名实体识别79
6.3 命名实体识别之日期识别82
6.4 命名实体识别之地名识别86
6.4.1 安装CRF 86
6.4.2 确定标签体系87
6.4.3 语料数据处理88
6.4.4 特征模板设计90
6.4.5 模型训练和测试91
6.4.6 模型使用93
6.5 本章小结94
第7章 提取文本关键词95
7.1 关键词提取算法96
7.2 TF-IDF算法96
7.3 TextRank算法97
7.4 LSA LSI LDA算法99
7.4.1 LSA LSI算法99
7.4.2 LDA算法100
7.5 提取文本关键词101
7.6 本章小结108
第8章 词向量算法109
8.1 word2vec词向量算法110
8.1.1 神经网络语言模型110
8.1.2 C&W模型112
8.1.3 CBOW模型和Skip-gram模型113
8.2 doc2vec str2vec文本向量化算法114
8.3 将网页文本向量化116
8.3.1 词向量的训练116
8.3.2 段落向量的训练119
8.3.3 利用word2vec词向量算法和doc2vec文本向量化算法计算网页相似度120
8.4 本章小结124
第9章 句法分析125
9.1 句法分析概述126
9.1.1 句法分析的基本概念126
9.1.2 句法分析的基本方法126
9.2 句法分析的数据集与评测方法127
9.2.1 句法分析的数据集127
9.2.2 句法分析的评测方法129
9.3 句法分析的常用方法130
9.3.1 基于PCFG的句法分析130
9.3.2 基于*大间隔马尔可夫网络的句法分析131
9.3.3 基于CRF的句法分析132
9.3.4 基于移进-归约的句法分析132
9.4 使用Standford Parser的PCFG进行句法分析134
9.4.1 Stanford Parser134
9.4.2 基于PCFG的中文句法分析实战135
9.5 本章小结136
第 10章 情感分析137
10.1 情感分析的应用138
10.2 情感分析的基本方法139
10.2.1 词法分析139
10.2.2 机器学习140
10.2.3 混合分析140
10.3 电影评论情感分析141
10.3.1 模型选择141
10.3.2 载入数据144
10.3.3 辅助函数146
10.3.4 模型设置147
10.3.5 调参配置148
10.3.6 训练过程149
10.4 本章小结149
第 11章 机器学习在自然语言处理的应用151
11.1 几种常用的机器学习方法152
11.1.1 文本分类152
11.1.2 特征提取152
11.1.3 标注153
11.1.4 搜索与排序154
11.1.5 推荐系统155
11.1.6 序列学习156
11.2 无监督学习的文本聚类156
11.3 文本分类实战-中文垃圾邮件分类158
11.4 文本聚类实战——用K均值聚类对豆瓣读书数据聚类164
11.5 本章小结168
第 12章 深度学习在自然语言中的应用169
12.1 RNN简介170
12.1.1 简单RNN170
12.1.2 LSTM172
12.1.3 Attention机制174
12.2 Seq2Seq问答机器人175
12.2.1 Seq2Seq模型175
12.2.2 实战Seq2Seq聊天机器人176
12.3 本章小结184
第 13章 自然语言处理典型的应用场景185
13.1 机器翻译与写作186
13.1.1 机器翻译186
13.1.2 机器写作195
13.2 智能问答与对话204
13.2.1 智能问答204
13.2.2 智能对话系统204
13.2.3 问答系统的主要组成206
13.2.4 不同类型的问答系统207
13.2.5 前景与挑战218
13.3 个性化推荐218
13.3.1 推荐系统的概念218
13.3.2 个性化推荐的基本问题219
13.3.3 推荐的可解释性222
13.3.4 前景与挑战223
13.4 本章小结226