现代决策树模型及其编程实践:从传统决策树到深度决策树

赞誉
推荐序一
推荐序二
推荐序三
前言
第1章决策树与人工智能1
1.1决策与智能1
1.2决策树算法的起源2
1.3决策树的核心术语4
1.4决策树的可解释性5
1.5作为决策分析工具的决策树7
1.5.1决策分析8
1.5.2基于决策分析流程的决策树9
1.6作为机器学习算法的决策树15
1.6.1机器学习算法的类型15
1.6.2基于数据的决策树18
1.6.3决策树算法面临的基本问题24
1.6.4基于规则的机器学习27
1.7作为特征学习与决策融合的决策树30
1.8参考文献31
第2章经典决策树算法33
2.1经典决策树应用的一般流程33
2.1.1缺失值的处理33
2.1.2连续数值属性的离散化处理34
2.2CART算法34
2.2.1基尼不纯度、基尼增益与基尼指数34
2.2.2CART分类决策树的原理38
2.2.3CART分类决策树的编程实践43
2.2.4回归问题与回归算法55
2.2.5CART回归决策树的特征和分割点选择准则65
2.2.6CART回归决策树的原理66
2.2.7CART回归决策树的编程实践70
2.3ID3算法75
2.3.1信息熵与信息增益75
2.3.2ID3算法示例78
2.3.3ID3算法的编程实践84
2.4C4.5算法87
2.4.1信息增益率88
2.4.2连续属性的处理88
2.4.3缺失值的处理88
2.4.4基于C4.5算法处理连续属性生成分类决策树的示例91
2.4.5C4.5算法的后续改进——C5.0算法96
2.5决策树的评估98
2.6决策树的5种可视化方法100
2.7小结107
2.8参考文献107
第3章决策树的剪枝109
3.1代价复杂度剪枝110
3.1.1CCP算法的基本原理110
3.1.2CCP算法的编程实践113
3.1.3基于sklearn的CCP示例121
3.2错误率降低剪枝127
3.2.1REP算法的基本原理127
3.2.2REP算法的编程实践128
3.3悲观错误剪枝133
3.3.1PEP算法的基本原理133
3.3.2PEP算法的编程实践135
3.4*小错误剪枝139
3.4.1MEP算法的基本原理139
3.4.2MEP算法的编程实践140
3.5其他决策树剪枝算法简介145
3.6小结147
3.7参考文献147
第4章随机森林149
4.1随机森林的基本原理149
4.1.1构造随机森林的步骤150
4.1.2随机森林的简单示例151
4.1.3基于sklearn的随机森林编程示例152
4.1.4选择*优的随机特征属性数量153
4.2套袋法156
4.2.1套袋法的算法流程157
4.2.2套袋法的偏差和方差157
4.2.3套袋法的优缺点159
4.3随机森林的参数设置与调优159
4.3.1sklearn随机森林的参数159
4.3.2调参示例161
4.3.3OOB错误率与交叉验证166
4.4随机森林的优缺点174
4.5使用随机森林进行特征属性的重要性区分的示例175
4.5.1基于基尼指数的特征属性重要性评估175
4.5.2基于袋外数据错误率的特征属性重要性评估177
4.6使用随机森林进行无监督聚类的示例179
4.7使用随机森林进行回归分析的示例182
4.8随机森林与核方法的结合184
4.9小结186
4.10参考文献186
第5章集成学习方法188
5.1提升法188
5.1.1AdaBoost算法原理189
5.1.2AdaBoost算法实现199
5.1.3AdaBoost算法的编程实践——基于sklearn解决分类问题203
5.1.4AdaBoost算法的编程实践——基于sklearn解决回归问题205
5.1.5提升法的分类、优点和挑战207
5.2梯度提升法208
5.2.1梯度提升法的原理和示例208
5.2.2梯度提升决策树211
5.2.3梯度提升分类决策树213
5.2.4梯度提升回归决策树223
5.2.5随机梯度提升树227
5.2.6基于梯度提升法的机器学习库228
5.3堆叠法233
5.3.1简单的二阶段堆叠算法234
5.3.2基于K折交叉验证的二阶段堆叠法237
5.3.3基于sklearn的K折交叉验证的二阶段堆叠法的编程实践238
5.3.4多阶段堆叠模型247
5.4套袋法、提升法、堆叠法的比较250
5.5小结252
5.6参考文献253
第6章并行决策树256
6.1随机森林的并行化256
6.2XGBoost基础259
6.2.1XGBoost核心原理260
6.2.2XGBoost系统设计及其并行化加速270
6.2.3XGBoost编程基础272
6.2.4XGBoost回归问题编程275
6.2.5XGBoost分类问题编程277
6.2.6XGBoost随机森林编程278
6.2.7XGBoost特征筛选编程281
6.2.8XGBoost与传统提升树的比较283
6.2.9XGBoost的缺点284
6.3LightGBM基础284
6.3.1LightGBM核心原理285
6.3.2LightGBM系统设计及其并行化加速291
6.3.3LigthGBM编程基础294
6.3.4LightGBM与sklearn结合的示例300
6.3.5LightGBM回归问题编程302
6.3.6LightGBM分类问题编程303
6.3.7LightGBM的优缺点305
6.4CatBoost基础306
6.4.1CatBoost核心原理306
6.4.2CatBoost系统设计及其并行化加速313
6.4.3CatBoost编程基础313
6.4.4CatBoost分类问题编程（不带分类特征属性）317
6.4.5CatBoost回归问题编程（不带分类特征属性）319
6.4.6CatBoost回归问题编程（带分类特征属性）321
6.4.7CatBoost的优缺点323
6.4.8XGBoost、LightGBM、CatBoost的比较324
6.5NGBoost简介325
6.6小结326
6.7参考文献326
第7章蚁群决策树329
7.1蚁群元启发式算法329
7.1.1典型蚁群算法330
7.1.2MMAS算法331
7.1.3ACS算法332
7.2基于蚁群的分类规则提取333
7.2.1Ant-Miner规则提取方法334
7.2.2Ant-Miner算法实现339
7.2.3Ant-Miner算法的早期变种345
7.2.4MYRA——开源实现349
7.2.5Ant-MinerMA+G算法350
7.2.6AMclr算法353
7.3蚁群