非平衡数据分类理论与方法

目录 “信息科学技术学术著作丛书”序 前言 第1章 理论基础1 1.1 数据分类1 1.2 K-近邻4 1.3 决策树5 1.3.1 离散值决策树6 1.3.2 连续值决策树19 1.4 神经网络25 1.4.1 神经元模型25 1.4.2 梯度下降算法26 1.4.3 多层感知器模型29 1.4.4 卷积神经网络33 1.5 极限学习机43 1.6 支持向量机46 1.6.1 线性可分支持向量机46 1.6.2 近似线性可分支持向量机50 1.6.3 线性不可分支持向量机51 1.7 集成学习54 1.7.1 集成学习简介54 1.7.2 Bagging算法55 1.7.3 Boosting算法56 1.7.4 随机森林算法57 1.7.5 模糊积分集成算法60 第2章 模型评价63 2.1 基本度量63 2.2 ROC*线与AUC面积65 2.2.1 ROC*线65 2.2.2 AUC面积68 2.3 损失函数71 2.4 偏差与方差80 2.5 多样性度量81 2.5.1 成对多样性度量82 2.5.2 非成对多样性度量83 2.5.3 分类器集成的多样性和分类精度之间的关系85 第3章 数据级方法86 3.1 数据级方法概述86 3.2 SMOTE算法88 3.3 B-SMOTE算法89 3.4 基于生成模型上采样的两类非平衡数据分类算法89 3.4.1 基于极限学习机自动编码器的上采样算法91 3.4.2 基于生成对抗网络的上采样算法93 3.4.3 算法实现及与其他算法的比较98 3.5 基于自适应聚类和模糊数据约简下采样的两类非平衡大数据分类算法109 3.5.1 大数据概述109 3.5.2 大数据处理系统110 3.5.3 聚类分析127 3.5.4 两类非平衡大数据分类算法134 3.5.5 算法实现及与其他算法的比较138 第4章 算法级方法144 4.1 算法级方法概述144 4.2 基于代价敏感性学习的非平衡数据分类方法146 4.2.1 代价敏感性学习基础146 4.2.2 代价敏感性支持向量机151 4.2.3 代价敏感Boosting算法151 4.3 基于深度学习的非平衡图像数据分类方法153 4.3.1 针对非平衡图像数据的深度表示学习153 4.3.2 针对长尾识别的目标监督对比学习156 4.3.3 针对长尾识别的深度嵌入和数据增广学习方法159 第5章 集成学习方法163 5.1 集成学习方法概述163 5.2 SMOTEBoost算法与SMOTEBagging算法164 5.3 基于改进D2 GAN上采样和分类器融合的两类非平衡数据分类166 5.3.1 基于改进D2 GAN的上采样方法166 5.3.2 基于改进D2 GAN上采样和分类器融合的两类非平衡数据分类169 5.3.3 算法实现及与其他算法的比较172 5.4 基于MapReduce和极限学习机集成的两类非平衡大数据分类179 5.4.1 交替上采样方法179 5.4.2 基于交替上采样和集成学习的两类非平衡大数据分类180 5.4.3 算法实现及与其他算法的比较182 5.5 基于异类*近邻超球上采样和集成学习的两类非平衡大数据分类186 5.5.1 基于MapReduce和异类*近邻超球的上采样186 5.5.2 基于异类*近邻超球上采样和模糊积分集成的两类非平衡大数据分类188 5.5.3 算法实现及与其他算法的比较188 参考文献194