Python自然语言处理(微课版)

目录

第1章自然语言处理概述1

1.1人工智能发展历程1

1.1.1**阶段: 20年黄金时代1

1.1.2第二阶段: **次寒冬1

1.1.3第三阶段: 繁荣期1

1.1.4第四阶段: 第二次寒冬2

1.1.5第五阶段: 稳健时代2

1.2自然语言处理2

1.2.1概述2

1.2.2发展历程3

1.2.3处理流程4

1.2.4研究内容4

1.3机器学习算法6

1.3.1监督学习6

1.3.2无监督学习7

1.4自然语言处理相关库8

1.4.1NumPy8

1.4.2Matplotlib8

1.4.3Pandas8

1.4.4SciPy9

1.4.5NLTK9

1.4.6SnowNLP11

1.4.7Sklearn12

1.5语料库12

1.5.1认识语料库12

1.5.2分类13

1.5.3构建原则13

1.5.4常用语料库13

1.5.5搜狗新闻语料库15第2章Python语言简述19

2.1Python简介19

2.1.1Python发展历程19

2.1.2Python的特点19

2.1.3Python应用场合20

2.2Python解释器21

2.2.1Ubuntu下安装Python21

2.2.2Windows下安装Python21

2.3Python编辑器22

2.3.1IDLE22

2.3.2VS Code23

2.3.3PyCharm23

2.3.4Anaconda24

2.3.5Jupyter 31

2.4代码书写规则32

2.4.1缩进32

2.4.2多行语句33

2.4.3注释33

2.4.4编码习惯33

2.5自学网站34

2.5.1菜鸟网站34

2.5.2廖雪峰学Python网站35

2.5.3Python官方网站35

2.5.4Python  100天从新手到大师网站35

第3章Python数据类型37

3.1变量37

3.1.1变量命名37

3.1.2变量引用38

3.2运算符38

3.2.1算术运算符38

3.2.2关系运算符39

3.2.3赋值运算符40

3.2.4逻辑运算符41

3.2.5位运算符41

3.2.6成员运算符43

3.2.7身份运算符43

3.3表达式43

3.3.1概念43

3.3.2操作44

3.4数据类型44

3.5数字45

3.5.1概念45

3.5.2操作45

3.6字符串46

3.6.1概念46

3.6.2操作46

3.7列表48

3.7.1概念48

3.7.2操作48

3.8元组53

3.8.1概念53

3.8.2操作54

3.9字典55

3.9.1字典的概念55

3.9.2字典操作56

3.9.3字典举例59

3.10集合59

3.10.1集合的概念59

3.10.2集合操作60

3.10.3集合举例61

3.11组合数据类型62

3.11.1相互关系62

3.11.2数据类型转换62

第4章Python流程控制63

4.1流程结构63

4.2顺序结构63

4.2.1输入输出64

4.2.2举例67

4.3选择结构67

4.3.1单分支67

4.3.2双分支68

4.3.3多分支69

4.3.4分支嵌套70

4.4循环概述72

4.4.1循环结构72

4.4.2循环分类72

4.5while语句72

4.5.1基本形式72

4.5.2else 语句73

4.5.3无限循环74

4.6for语句74

4.6.1应用序列类型74

4.6.2内置函数range()75

4.7循环嵌套76

4.7.1原理76

4.7.2实现76

4.8辅助语句77

4.8.1break语句77

4.8.2continue语句79

4.8.3pass语句79

第5章Python函数81

5.1函数声明与调用81

5.1.1函数声明81

5.1.2函数调用81

5.1.3函数返回值83

5.2参数传递84

5.2.1实参与形参84

5.2.2传对象引用84

5.3参数分类85

5.3.1**参数85

5.3.2默认参数85

5.3.3关键参数86

5.3.4不定长参数86

5.4两类特殊函数87

5.4.1匿名函数87

5.4.2递归函数88

第6章Python数据科学93

6.1科学计算93

6.2NumPy94

6.2.1认识NumPy94

6.2.2创建数组95

6.2.3查看数组97

6.2.4索引和切片97

6.2.5矩阵运算98

6.3Matplotlib99

6.3.1认识Matplotlib99

6.3.2线形图100

6.3.3散点图101

6.3.4饼状图102

6.3.5直方图102

6.4Pandas103

6.4.1认识Pandas103

6.4.2Series104

6.4.3DataFrame108

6.4.4Index112

6.4.5Plot114

6.5SciPy115

6.5.1认识SciPy115

6.5.2稀疏矩阵115

6.5.3线性代数116

6.6Seaborn117

6.6.1认识Seaborn117

6.6.2图表分类119

第7章Sklearn和NLTK120

7.1Sklearn简介120

7.2安装Sklearn121

7.3数据集122

7.3.1小数据集122

7.3.2大数据集127

7.3.3生成数据集128

7.4机器学习流程132

7.4.1语料清洗132

7.4.2划分数据集132

7.4.3特征工程137

7.4.4机器算法137

7.4.5模型评估137

7.5NLTK简介138

7.6NLTK语料库139

7.6.1inaugural语料库139

7.6.2gutenberg语料库139

7.6.3movie_reviews语料库140

7.7NLTK文本分类141

7.7.1分句分词141

7.7.2停止词142

7.7.3词干提取143

7.7.4词形还原143

7.7.5WordNet144

7.7.6语义相关性145

第8章语料清洗146

8.1认识语料清洗146

8.2清洗策略147

8.2.1一致性检查147

8.2.2格式内容检查147

8.2.3逻辑错误检查147

8.3缺失值清洗147

8.3.1认识缺失值147

8.3.2Pandas处理148

8.3.3Sklearn处理150

8.4异常值清洗151

8.4.1散点图方法151

8.4.2箱线图方法151

8.4.33σ法则153

8.5重复值清洗155

8.5.1NumPy处理155

8.5.2Pandas处理155

8.6数据转换157

8.6.1数据值替换157

8.6.2数据值映射158

8.6.3数据值合并159

8.6.4数据值补充160

8.7Missingno库161

8.7.1认识Missingno库161

8.7.2示例163

8.8词云165

8.8.1认识词云165

8.8.2示例166

第9章特征工程168

9.1特征预处理168

9.1.1归一化168

9.1.2标准化169

9.1.3鲁棒化171

9.1.4正则化171

9.1.5示例172

9.2独热编码176

9.2.1认识独热编码176

9.2.2Pandas实现177

9.2.3Sklearn实现178

9.2.4DictVectorizer179

9.3CountVectorizer180

9.3.1认识CountVectorizer180

9.3.2Sklearn调用CountVectorizer180

9.4TFIDF181

9.4.1认识TFIDF181

9.4.2计算TFIDF181

9.4.3Sklearn调用TFIDF182

第10章中文分词183

10.1概述183

10.1.1简介183

10.1.2特点183

10.2常见中文分词方法184

10.2.1基于规则和词表方法184

10.2.2基于统计方法184

10.2.3基于理解方法185

10.3中文分词困惑185

10.4jieba分词库186

10.4.1认识jieba186

10.4.2三种模式187

10.4.3自定义词典188

10.4.4词性标注189

10.4.5断词位置190

10.4.6关键词抽取190

10.4.7停止词表192

10.5HanLP分词195

10.5.1认识HanLP195

10.5.2pyhanlp196

10.5.3中文分词196

10.5.4依存分析使用197

10.5.5关键词提取198

10.5.6命名实体识别199

10.5.7自定义词典199

10.5.8简体繁体转换200

10.5.9摘要提取200

第11章文本分类202

11.1历史回顾202

11.2文本分类方法202

11.2.1朴素贝叶斯202

11.2.2支持向量机203

11.3贝叶斯定理203

11.4朴素贝叶斯204

11.4.1GaussianNB方法204

11.4.2MultinomialNB方法205

11.4.3BernoulliNB方法207

11.5朴素贝叶斯进行新闻分类208

11.6支持向量机210

11.6.1线性核函数210

11.6.2多项式核函数211

11.6.3高斯核函数212

11.7支持向量机对鸢尾花分类213

11.8垃圾邮件分类216

11.8.1朴素贝叶斯定理实现217

11.8.2Sklearn朴素贝叶斯实现219

第12章文本聚类222

12.1概述222

12.1.1算法原理222

12.1.2流程223

12.2KMeans算法223

12.2.1算法原理223

12.2.2数学理论实现223

12.2.3Python实现225

12.3主成分分析228

12.3.1算法原理228

12.3.2components参数228

12.3.3对鸢尾花数据降维230

12.4KMeans评估指标232

12.4.1调整兰德系数232

12.4.2轮廓系数232

12.5KMeans英文文本聚类235

12.5.1构建DataFrame数据236

12.5.2进行分词和停止词去除236

12.5.3向量化236

12.5.4TFIDF模型236

12.5.5计算余弦相似度237

12.5.6KMeans聚类237

12.6KMeans中文文本聚类237

12.6.1程序流程237

12.6.2程序文件238

12.6.3执行代码238

第13章评价指标242

13.1Sklearn中的评价指标242

13.2混淆矩阵242

13.2.1认识混淆矩阵242

13.2.2Pandas计算混淆矩阵243

13.2.3Sklearn计算混淆矩阵244

13.3准确率244

13.3.1认识准确率244

13.3.2Sklearn计算准确率245

13.4精确率245

13.4.1认识精确率245

13.4.2Sklearn计算精确率245

13.5召回率246

13.5.1认识召回率246

13.5.2Sklearn计算召回率246

13.6F1 Score247

13.6.1认识F1 Score247

13.6.2Sklearn计算F1 Score247

13.7综合实例247

13.7.1数学计算评价指标248

13.7.2Python计算评价指标248

13.8ROC曲线250

13.8.1认识ROC曲线250

13.8.2Sklearn计算ROC曲线251

13.9AUC面积252

13.9.1认识AUC面积252

13.9.2Sklearn计算AUC面积252

13.10分类评估报告253

13.10.1认识分类评估报告253

13.10.2Sklearn计算分类评估报告253

13.11NLP评价指标254

13.11.1中文分词精确率和召回率254

13.11.2未登录词和登录词召回率254

第14章信息提取258

14.1概述258

14.2相关概念258

14.2.1信息258

14.2.2信息熵258

14.2.3信息熵与霍夫曼编码259

14.2.4互信息260

14.3正则表达式260

14.3.1基本语法261

14.3.2re模块261

14.3.3提取电影信息264

14.4命名实体识别266

14.4.1认识命名实体266

14.4.2常见方法266

14.4.3NLTK命名实体识别267

14.4.4Stanford NLP命名实体识别269

14.5马尔可夫模型273

14.5.1认识马尔可夫273

14.5.2隐马尔可夫模型273

第15章情感分析275

15.1概述275

15.1.1认识情感分析275

15.1.2基于词典方法275

15.2情感倾向分析276

15.2.1情感词276

15.2.2程度词276

15.2.3感叹号276

15.2.4否定词276

15.3textblob276

15.3.1分句分词278

15.3.2词性标注278

15.3.3情感分析279

15.3.4单复数279

15.3.5过去式279

15.3.6拼写校正280

15.3.7词频统计280

15.4SnowNLP280

15.4.1分词281

15.4.2词性标注281

15.4.3断句281

15.4.4情绪判断282

15.4.5拼音282

15.4.6繁转简283

15.4.7关键字抽取283

15.4.8摘要抽取283

15.4.9词频和逆文档词频284

15.5Gensim284

15.5.1认识Gensim284

15.5.2认识LDA286

15.5.3Gensim实现LDA286

15.6小说人物情感分析288

15.6.1流程288

15.6.2代码288

15.7电影影评情感分析289

15.7.1流程289

15.7.2代码289

附录A教学大纲292

一、 课程简介292

二、 课程内容及要求292

三、 教学安排及学时分配298

四、 考核方式299

五、 建议教材及参考文献299

参考文献300