Python数据挖掘技术及应用(微课版)

目录

第1章绪论1

1.1数据挖掘的相关概念1

1.2数据挖掘的步骤2

1.3数据挖掘的典型应用3

1.3.1数据挖掘在市场营销中的应用3

1.3.2数据挖掘在企业危机管理中的应用3

1.4数据挖掘的主要挑战3

1.4.1数据挖掘查询语言3

1.4.2用户交互4

1.4.3并行、分布和增量挖掘算法4

1.4.4数据类型的多样化4

1.5本章小结5

第2章pandas数据处理6

2.1Series对象6

2.1.1Series对象的创建6

2.1.2Series对象的属性8

2.1.3Series对象的查看和修改8

2.2Series对象的基本运算9

2.2.1算术运算与函数运算9

2.2.2Series对象之间的运算10

2.3DataFrame对象10

2.3.1DataFrame对象的创建10

2.3.2DataFrame对象的属性12

2.3.3查看和修改DataFrame对象的元素14

2.3.4判断元素是否属于DataFrame对象16

2.4DataFrame对象的基本运算17

2.4.1数据筛选17

2.4.2数据预处理19

2.4.3数据运算与排序33

2.4.4数学统计38

2.4.5数据分组与聚合44

2.5pandas数据可视化51

2.5.1绘制折线图52

2.5.2绘制条形图53

2.6pandas读写数据55

2.6.1读写csv文件56

2.6.2读取txt文件59

2.6.3读写Excel文件60

2.7本章小结64

第3章认识数据65

3.1数据类型65

3.1.1属性类型65

3.1.2数据集的类型66

3.2数据质量分析67

3.2.1缺失值分析68

3.2.2异常值分析69

3.2.3一致性分析72

3.3数据特征分析72

3.3.1分布特征72

3.3.2统计量特征73

3.3.3周期性特征78

3.3.4相关性特征80

3.4本章小结81

第4章数据预处理82

4.1数据清洗82

4.1.1处理缺失值82

4.1.2噪声数据处理89

4.2数据集成90

4.2.1实体识别问题90

4.2.2属性冗余问题91

4.2.3元组重复问题91

4.2.4属性值冲突问题92

4.3数据规范化92

4.3.1*小*大规范化92

4.3.2z分数规范化94

4.3.3小数定标规范化94

4.4数据离散化94

4.4.1无监督离散化95

4.4.2监督离散化96

4.5数据归约96

4.5.1过滤法97

4.5.2包装法99

4.5.3嵌入法99

4.6数据降维100

4.6.1主成分分析法101

4.6.2线性判别分析法101

4.7学生考试成绩预处理102

4.8本章小结106

第5章决策树分类107

5.1相似性和相异性的度量107

5.1.1数据对象之间的相异度107

5.1.2数据对象之间的相似度109

5.2分类概述111

5.2.1分类的基本概念111

5.2.2分类的一般流程112

5.3决策树分类概述113

5.3.1决策树的工作原理113

5.3.2选择*佳划分属性的度量117

5.3.3决策树分类待测样本的过程120

5.4ID3决策树120

5.4.1ID3决策树的工作原理120

5.4.2Python实现ID3决策树122

5.4.3使用ID3决策树预测贷款申请130

5.4.4ID3决策树的缺点131

5.5C4.5决策树的分类算法131

5.5.1C4.5决策树的工作原理131

5.5.2Python实现C4.5决策树133

5.5.3使用C4.5决策树预测鸢尾花类别139

5.6CART决策树139

5.6.1CART决策树的工作原理139

5.6.2Python实现CART决策树139

5.7本章小结143

第6章贝叶斯分类144

6.1贝叶斯定理144

6.1.1概率基础144

6.1.2贝叶斯定理简介146

6.1.3先验概率与后验概率147

6.2朴素贝叶斯分类的原理与分类流程147

6.2.1贝叶斯分类原理147

6.2.2朴素贝叶斯分类的流程147

6.3高斯朴素贝叶斯分类150

6.3.1scikitlearn实现高斯朴素贝叶斯分类150

6.3.2Python实现iris高斯朴素贝叶斯分类151

6.4多项式朴素贝叶斯分类156

6.5伯努利朴素贝叶斯分类157

6.6本章小结157

第7章支持向量机分类158

7.1支持向量机概述158

7.1.1支持向量机的分类原理158

7.1.2*大边缘超平面158

7.2线性支持向量机159

7.2.1线性决策边界159

7.2.2线性分类器边缘160

7.2.3训练线性支持向量机模型161

7.3Python实现支持向量机163

7.3.1SVC支持向量机分类模型164

7.3.2NuSVC支持向量机分类模型166

7.3.3LinearSVC支持向量机分类模型167

7.4本章小结168

第8章感知器分类169

8.1人工神经元169

8.1.1神经元概述169

8.1.2激活函数170

8.2感知器171

8.2.1感知器模型171

8.2.2感知器学习算法172

8.3Python实现感知器学习算法概述174

8.3.1Python实现感知器学习算法174

8.3.2使用感知器分类鸢尾花数据175

8.4本章小结177

第9章回归178

9.1回归概述178

9.1.1回归的概念178

9.1.2回归处理流程178

9.1.3回归的分类178

9.2一元线性回归178

9.2.1一元线性回归模型178

9.2.2使用一元线性回归预测房价182

9.3多元线性回归185

9.3.1多元线性回归模型185

9.3.2使用多元线性回归分析广告媒介与销售额之间的关系187

9.3.3多元线性回归模型预测电能输出188

9.4非线性回归191

9.4.1多项式回归191

9.4.2非多项式的非线性回归195

9.5逻辑回归198

9.5.1逻辑回归模型199

9.5.2对鸢尾花数据进行逻辑回归分析201

9.6本章小结203

第10章聚类204

10.1聚类概述204

10.1.1聚类的概念204

10.1.2聚类方法类型205

10.1.3聚类应用领域206

10.2k均值聚类206

10.2.1k均值聚类的原理206

10.2.2Python实现对鸢尾花的k均值聚类208

10.3层次聚类方法211

10.3.1层次聚类的原理211

10.3.2Python实现凝聚层次聚类214

10.3.3BIRCH聚类的原理217

10.3.4Python实现BIRCH聚类220

10.4密度聚类221

10.4.1密度聚类的原理221

10.4.2Python实现DBSCAN密度聚类224

10.5本章小结227

第11章关联规则挖掘228

11.1关联规则挖掘概述228

11.1.1购物篮分析228

11.1.2关联规则相关概念229

11.1.3关联规则类型231

11.2频繁项集的产生232

11.2.1先验原理233

11.2.2Apriori算法产生频繁项集233

11.2.3候选项集的产生与剪枝236

11.2.4频繁项集及其支持度的Python实现237

11.3关联规则的产生239

11.3.1关联规则产生的原理239

11.3.2Apriori算法产生关联规则的方式240

11.3.3频繁项集的紧凑表示241

11.4FP增长算法242

11.4.1构建FP树243

11.4.2FP树的挖掘245

11.5本章小结247

第12章推荐系统248

12.1推荐系统的概念248

12.1.1基本概念248

12.1.2推荐系统的类型249

12.2基于内容的推荐250

12.2.1文本表示251

12.2.2文本相似度257

12.2.3Python实现基于内容的推荐258

12.3基于用户的协同过滤推荐261

12.3.1收集用户偏好262

12.3.2寻找相似的用户262

12.3.3为相似的用户推荐商品266

12.4基于物品的协同过滤推荐267

12.4.1获取用户对物品的评分267

12.4.2计算物品共同出现的次数和一个物品被多少个用户购买268

12.4.3计算物品之间的相似度268

12.4.4给用户推荐物品269

12.5本章小结270

第13章电商评论网络爬取与情感分析271

13.1网络爬虫概述271

13.1.1网页的概念271

13.1.2网络爬虫的工作流程271

13.2使用BeautifulSoup库提取网页信息272

13.2.1BeautifulSoup的安装272

13.2.2BeautifulSoup库的导入272

13.2.3BeautifulSoup类的基本元素273

13.2.4HTML内容搜索274

13.3使用urllib库编写简单的网络爬虫277

13.3.1发送不带参数的GET请求277

13.3.2模拟浏览器发送带参数的GET请求278

13.3.3URL解析279

13.4爬取京东小米手机评论280

13.4.1京东网站页面分析280

13.4.2编写京东小米手机评论爬虫代码283

13.5对手机评论文本进行情感分析286

13.5.1文本情感倾向分析的层次286

13.5.2中文文本情感倾向分析287

13.5.3评论文本情感倾向分析288

13.5.4评论文本分词290

13.5.5去除停用词291

13.5.6评论文本的LDA主题分析292

13.6本章小结297

参考文献298