经典原版书库数据挖掘导论(英文版.原书第2版)/[美]陈封能

第1章　绪论 1
1.1　什么是数据挖掘 4
1.2　数据挖掘要解决的问题 5
1.3　数据挖掘的起源 7
1.4　数据挖掘任务 9
1.5　本书组织结构 13
1.6　文献注释 15
1.7　习题 21
第2章　数据 23
2.1　数据类型 26
2.1.1　属性与度量 27
2.1.2　数据集的类型 34
2.2　数据质量 42
2.2.1　测量和数据收集问题 42
2.2.2　关于应用的问题 49
2.3　数据预处理 50
2.3.1　聚集 51
2.3.2　抽样 52
2.3.3　维归约 56
2.3.4　特征子集选择 58
2.3.5　特征创建 61
2.3.6　离散化和二元化 63
2.3.7　变量变换 69
2.4　相似性和相异性的度量 71
2.4.1　基础 72
2.4.2　简单属性之间的相似度和相异度 74
2.4.3　数据对象之间的相异度 76
2.4.4　数据对象之间的相似度 78
2.4.5　邻近度度量的例子 79
2.4.6　互信息 88
* 2.4.7　核函数 90
* 2.4.8　Bregman散度 94
2.4.9　邻近度计算问题 96
2.4.10　选择正确的邻近度度量 98
2.5　文献注释 100
2.6　习题 105
第3章　分类：基本概念和技术 113
3.1　基本概念 114
3.2　一般的分类框架 117
3.3　决策树分类器 119
3.3.1　构建决策树的基本算法 121
3.3.2　表示属性测试条件的方法 124
3.3.3　选择属性测试条件的方法 127
3.3.4　决策树归纳算法 136
3.3.5　示例：Web机器人检测 138
3.3.6　决策树分类器的特征 140
3.4　模型的过拟 147
3.5　模型选择 156
3.5.1　验证集应用 156
3.5.2　模型复杂度合并 157
3.5.3　统计范围估计 162
3.5.4　决策树的模型选择 162
3.6　模型评估 164
3.6.1　保持方法 165
3.6.2　交叉验证 165
3.7　超参数的使用 168
3.7.1　超参数选择 168
3.7.2　嵌套交叉验证 170
3.8　模型选择和评估中的陷阱 172
3.8.1　训练集和测试集之间的重叠 172
3.8.2　使用验证错误率作为泛化错误率
*3.9　模型比较 173
3.9.1　估计准确率的置信区间 174
3.9.2　比较两个模型的性能 175
3.10　文献注释 176
3.11　习题 185
第4章　分类：其他技术 193
4.1　分类器的种类 193
4.2　基于规则的分类器 195
4.2.1　基于规则的分类器原理 197
4.2.2　规则集的属性 198
4.2.3　规则提取的直接方法 199
4.2.4　规则提取的间接方法 204
4.2.5　基于规则的分类器的特点 206
4.3　*近邻分类器 208
4.3.1　算法 209
4.3.2　*近邻分类器的特点 210
4.4　朴素贝叶斯分类器 212
4.4.1　概率论基础 213
4.4.2　朴素贝叶斯假设 218
4.5　贝叶斯网络 227
4.5.1　图表示 227
4.5.2　推理与学习 233
4.5.3　贝叶斯网络的特点 242
4.6　logistic回归 243
4.6.1　logistic回归用作广义线性模型 244
4.6.2　学习模型参数 245
4.6.3　logistic回归模型的特点 248
4.7　人工神经网络 249
4.7.1　感知机 250
4.7.2　多层神经网络 254
4.7.3　人工神经网络的特点 261
4.8　深度学习 262
4.8.1　使用协同损失函数 263
4.8.2　使用响应激活函数 266
4.8.3　正则化 268
4.8.4　模型参数的初始化 271
4.8.5　深度学习的特点 275
4.9　支持向量机 276
4.9.1　分离超平面的边缘 276
4.9.2　线性SVM 278
4.9.3　软边缘SVM 284
4.9.4　非线性SVM 290
4.9.5　SVM的特点 294
4.10　组合方法 296
4.10.1　组合方法的基本原理 297
4.10.2　构建组合分类器的方法 297
4.10.3　偏置–方差分解 300
4.10.4　装袋 302
4.10.5　提升 305
4.10.6　随机森林 310
4.10.7　组合方法的实验比较 312
4.11　类不平衡问题 313
4.11.1　类不平衡的分类器构建 314
4.11.2　带类不平衡的性能评估 318
4.11.3　寻找*优的评分阈值 322
4.11.4　综合评估性能 323
4.12　多类问题 330
4.13　文献注释 333
4.14　习题 345
第5章　关联分析：基本概念和算法 357
5.1　预备知识 358
5.2　频繁项集的产生 362
5.2.1　先验原理 363
5.2.2　Apriori算法的频繁项集产生 364
5.2.3　候选项集的产生与剪枝 368
5.2.4　支持度计数 373
5.2.5　计算复杂度 377
5.3　规则的产生 380
5.3.1　基于置信度的剪枝 380
5.3.2　Apriori算法中规则的产生 381
5.3.3　示例：美国国会投票记录 382
5.4　频繁项集的紧凑表示 384
5.4.1　极大频繁项集 384
5.4.2　闭项集 386
*5.5　其他产生频繁项集的方法 389
*5.6　FP增长算法 393
5.6.1　FP树表示法 394
5.6.2　FP增长算法的频繁项集产生 397
5.7　关联模式的评估 401
5.7.1　兴趣度的客观度量 402
5.7.2　多个二元变量的度量 414
5.7.3　辛普森悖论 416
5.8　倾斜支持度分布的影响 418
5.9　文献注释 424
5.10　习题 438
第6章　关联分析：高级概念 451
6.1　处理分类属性 451
6.2　处理连续属性 454
6.2.1　基于离散化的方法 454
6.2.2　基于统计学的方法 458
6.2.3　非离散化方法 460
6.3　处理概念分层 462
6.4　序列模式 464
6.4.1　预备知识 465
6.4.2　序列模式发现 468
* 6.4.3　时限约束 473
* 6.4.4　可选计数方案 477
6.5　子图模式 479
6.5.1　预备知识 480
6.5.2　频繁子图挖掘 483
6.5.3　候选生成 487
6.5.4　候选剪枝 493
6.5.5　支持度计数 493
*6.6　非频繁模式 493
6.6.1　负模式 494
6.6.2　负相关模式 495
6.6.3　非频繁模式、负模式和负相关模式比较 496
6.6.4　挖掘有趣的非频繁模式的技术 498
6.6.5　基于挖掘负模式的技术 499
6.6.6　基于支持度期望的技术 501
6.7　文献注释 505
6.8　习题 510
第7章　聚类分析：基本概念和算法 525
7.1　概述 528
7.1.1　什么是聚类分析 528
7.1.2　聚类的不同类型 529
7.1.3　簇的不同类型 531
7.2　K均值 534
7.2.1　K均值算法 535
7.2.2　K均值：附加的问题 544
7.2.3　二分K均值 547
7.2.4　K均值和不同的簇类型 548
7.2.5　优点与缺点 549
7.2.6　K均值作为优化问题 549
7.3　凝聚层次聚类 554
7.3.1　基本凝聚层次聚类算法 555
7.3.2　特殊技术 557
7.3.3　簇邻近度的Lance-Williams公式 562
7.3.4　层次聚类的主要问题 563
7.3.5　离群点 564
7.3.6　优点与缺点 565
7.4　DBSCAN 565
7.4.1　传统的密度：基于中心的方法 565
7.4.2　DBSCAN算法 567
7.4.3　优点与缺点 569
7.5　簇评估 571
7.5.1　概述 571
7.5.2　无监督簇评估：使用凝聚度和分离度 574
7.5.3　无监督簇评估：使用邻近度矩阵 582
7.5.4　层次聚类的无监督评估 585
7.5.5　确定正确的簇个数 587
7.5.6　聚类趋势 588
7.5.7　簇有效性的监督度量 589
7.5.8　评估簇有效性度量的显著性 594
7.5.9　簇有效性度量的选择 596
7.6　文献注释 597
7.7　习题 603
第8章　聚类分析：其他问题与算法 613
8.1　数据、簇和聚类算法的特性 614
8.1.1　示例：比较K均值和DBSCAN 614
8.1.2　数据特性 615
8.1.3　簇特性 617
8.1.4　聚类算法的一般特性 619
8.2　基于原型的聚类 621
8.2.1　模糊聚类 621
8.2.2　使用混合模型的聚类 627
8.2.3　自组织映射 637
8.3　基于密度的聚类 644
8.3.1　基于网格的聚类 644
8.3.2　子空间聚类 648
8.3.3　DENCLUE：基于密度聚类的一种基于核的方案 652
8.4　基于图的聚类 656
8.4.1　稀疏化 657
8.4.2　*小生成树聚类 658
8.4.3　OPOSSUM：使用METIS的稀疏相似度*优划分 659
8.4.4　Chameleon：使用动态建模的层次聚类 660
8.4.5　谱聚类 666
8.4.6　共享*近邻相似度 673
8.4.7　Jarvis-Patrick聚类算法 676
8.4.8　SNN密度 678
8.4.9　基于SNN密度的聚类 679
8.5　可伸缩的聚类算法 681
8.5.1　可伸缩：一般问题和方法 681
8.5.2　BIRCH 684
8.5.3　CURE 686
8.6　使用哪种聚类算法 690
8.7　文献注释 693
8.8　习题 699
第9章　异常检测 703
9.1　异常检测问题的特性 705
9.1.1　异常的定义 705
9.1.2　数据的性质 706
9.1.3　如何使用异常检测 707
9.2　异常检测方法的特性 708
9.3　统计方法 710
9.3.1　使用参数模型 710
9.3.2　使用非参数模型 714
9.3.3　对正常类和异常类建模 715
9.3.4　评估统计意义 717
9.3.5　优点与缺点 718
9.4　基于邻近度的方法 719
9.4.1　基于距离的异常分数 719
9.4.2　基于密度的异常分数 720
9.4.3　基于相对密度的异常分数 722
9.4.4　优点与缺点 723
9.5　基于聚类的方法 724
9.5.1　发现异常簇 724
9.5.2　发现异常实例 725
9.5.3　优点与缺点 728
9.6　基于重构的方法 728
9.7　单类分类 732
9.7.1　核函数的使用 733
9.7.2　原点技巧 734
9.7.3　优点与缺点 738
9.8　信息论方法 738
9.9　异常检测评估 740
9.10　文献注释 742
9.11　习题 749
第10章　避免错误发现 755
10.1　预备知识：统计检验 756
10.1.1　显著性检验 756
10.1.2　假设检验 761
10.1.3　多重假设检验 767
10.1.4　统计检验中的陷阱 776
10.2　对零分布和替代分布建模 778
10.2.1　生成合成数据集 781
10.2.2　随机化类标 782
10.2.3　实例重采样 782
10.2.4　对检验统计量的分布建模 783
10.3　分类问题的统计检验 783
10.3.1　评估分类性能 783
10.3.2　以多重假设检 验处理二分类问题 785
10.3.3　模型选择中的多重假设检验 786
10.4　关联分析的统计检验 787
10.4.1　使用统计模型 788
10.4.2　使用随机化方法 794
10.5　聚类分析的统计检验 795
10.5.1　为内部指标生成零分布 796
10.5.2　为外部指标生成零分布 798
10.5.3　富集 798
10.6　异常检测的统计检验 800
10.7　文献注释 803
10.8　习题 808



Contents
1 Introduction 1
1.1 What Is Data Mining? 4
1.2 Motivating Challenges 5
1.3 The Origins of Data Mining 7
1.4 Data Mining Tasks 9
1.5 Scope and Organization of the Book 13
1.6 Bibliographic Notes 15
1.7 Exercises 21
2 Data 23
2.1 Types of Data 26
2.1.1 Attributes and Measurement 27
2.1.2 Types of Data Sets 34
2.2 Data Quality 42
2.2.1 Measurement and Data Collection Issues 42
2.2.2 Issues Related to Applications 49
2.3 Data Preprocessing 50
2.3.1 Aggregation 51
2.3.2 Sampling 52
2.3.3 Dimensionality Reduction 56