人工智能探索与实践集成学习:基础与算法

第1章 绪 论 1

1.1 基本概念 1

1.2 常用学习算法 3

1.2.1 线性判别分析 3

1.2.2 决策树 4

1.2.3 神经网络 6

1.2.4 朴素贝叶斯 8

1.2.5 k-近邻 9

1.2.6 支持向量机和核方法 9

1.3 评估和对比 12

1.4 集成学习方法 14

1.5 集成学习方法的应用 16

1.6 拓展阅读 19

第2章 Boosting 21

2.1 Boosting 过程 21

2.2 AdaBoost 算法 22

2.3 说明性举例 26

2.4 理论探讨 29

2.4.1 基本分析 29

2.4.2 间隔解释 30

2.4.3 统计视角 32

2.5 多分类问题 35

2.6 容噪能力 37

2.7 拓展阅读 40

第3章 Bagging 43

3.1 两种集成范式 43

3.2 Bagging 算法 44

3.3 说明性举例 45

3.4 理论探讨 48

3.5 随机树集成 52

3.5.1 随机森林 52

3.5.2 随机化谱 55

3.5.3 随机森林用于密度估计 56

3.5.4 随机森林用于异常检测 58

3.6 拓展阅读 60

第4章 结合方法 61

4.1 结合带来的益处 61

4.2 均值法 62

4.2.1 简单平均法 62

4.2.2 加权平均法 63

4.3 投票法 65

4.3.1 绝对多数投票法 65

4.3.2 相对多数投票法 66

4.3.3 加权投票法 67

4.3.4 软投票法 68

4.3.5 理论探讨 70

4.4 学习结合法 76

4.4.1 Stacking 76

4.4.2 无限集成 78

4.5 其他结合方法 79

4.5.1 代数法 80

4.5.2 行为知识空间法 81

4.5.3 决策模板法 81

4.6 相关方法 82

4.6.1 纠错输出编码法 82

4.6.2 动态分类器选择法 85

4.6.3 混合专家模型 86

4.7 拓展阅读 87

第5章 多样性 91

5.1 集成多样性 91

5.2 误差分解 92

5.2.1 误差-分歧分解 92

5.2.2 偏差-方差-协方差分解 94

5.3 多样性度量 96

5.3.1 成对度量 96

5.3.2 非成对度量 97

5.3.3 小结和可视化 100

5.3.4 多样性度量的局限 101

5.4 信息论多样性 102

5.4.1 信息论和集成 102

5.4.2 交互信息多样性 103

5.4.3 多信息多样性 104

5.4.4 估计方法 105

5.5 多样性增强 106

5.6 拓展阅读 108

第6章 集成修剪 109

6.1 何谓集成修剪 109

6.2 多比全好 110

6.3 修剪方法分类 113

6.4 基于排序的修剪 114

6.5 基于聚类的修剪 117

6.6 基于优化的修剪 117

6.6.1 启发式优化修剪 118

6.6.2 数学规划修剪 118

6.6.3 概率修剪 121

6.7 拓展阅读 122

第7章 聚类集成 125

7.1 聚类 125

7.1.1 聚类方法 125

7.1.2 聚类评估 127

7.1.3 为什么要做聚类集成 129

7.2 聚类集成方法分类 130

7.3 基于相似度的方法 132

7.4 基于图的方法 133

7.5 基于重标记的方法 136

7.6 基于变换的方法 140

7.7 拓展阅读 143

第8章 进阶议题 145

8.1 半监督学习 145

8.1.1 未标记数据的效用 145

8.1.2 半监督学习的集成学习方法 146

8.2 主动学习 151

8.2.1 人为介入的效用 151

8.2.2 基于集成的主动学习 152

8.3 代价敏感学习 153

8.3.1 不均等代价下的学习 153

8.3.2 代价敏感学习的集成方法 154

8.4 类别不平衡学习 158

8.4.1 类别不平衡 158

8.4.2 类别不平衡学习的性能评估 160

8.4.3 类别不平衡学习的集成方法 163

8.5 提升可解释性 166

8.5.1 集成约简 166

8.5.2 规则抽取 167

8.5.3 可视化 168

8.6 未来的研究方向 169

8.7 拓展阅读 171

参考文献 173

索引 203