包邮元学习在自动机器学习和数据挖掘中的应用(原书第二版)

前言 本书的基本架构 致谢 **部分 基本概念与架构 第1章 简介3 1.1 本书的结构3 1.2 基本概念与架构(**部分)4 1.2.1 基本概念4 1.2.2 问题类型6 1.2.3 元学习与AutoML系统的基本架构7 1.2.4 使用来自先验数据集的元数据进行算法选择(第2、5章)7 1.2.5 不同系统的评价与比较(第3章)8 1.2.6 数据集特征/元特征的作用(第4章)8 1.2.7 不同类型的元级模型(第5章)9 1.2.8 超参数优化(第6章)9 1.2.9 工作流设计的自动化方法(第7章)10 1.3 优选技术和方法(第二部分)10 1.3.1 设置构形空间和实验(第8章)10 1.3.2 集成学习与数据流的自动化方法11 1.3.3 元模型的跨任务迁移(第12章)12 1.3.4 深度神经网络的元学习(第13章)13 1.3.5 数据科学自动化与复杂系统设计13 1.4 实验结果的储存库(第三部分)15 1.4.1 元数据的储存库(第16章)15 1.4.2 学习储存库中的元数据(第17章)15 1.4.3 结束语(第18章)16 参考文献16 第2章 算法选择的元学习方法(一)(排序设置)18 2.1 简介18 2.2 不同形式的推荐19 2.2.1 算法集中的很好算法20 2.2.2 很优算法子集20 2.2.3 线性排序21 2.2.4 准线性(弱)排序22 2.2.5 不接近排序22 2.2.6 在特定的预算范围内寻找很好算法22 2.3 算法选择所需的排序模型23 2.3.1 以排序的形式生成元模型23 2.3.2 使用排序元模型进行预测(top-n策略)26 2.3.3 对建议排序的评价29 2.4 实施精度与运行时间的组合测度29 2.5 扩展及其他方法31 2.5.1 采用平均排序法推荐工作流31 2.5.2 排序可能会降低数据集专家级算法的等级31 2.5.3 基于DEA多准则分析的方法32 2.5.4 利用数据集的相似性来识别元数据的相关部分32 2.5.5 处理不接近排序32 参考文献34 第3章 学习/自动机器学习(AutoML)系统评价建议36 3.1 简介36 3.2 基础算法的评估方法37 3.2.1 泛化误差37 3.2.2 评估策略37 3.2.3 损失函数和损失38 3.3 基础算法的性能归一化38 3.4 元学习与AutoML系统的评估方法40 3.4.1 留出策略下的一次通过性评估40 3.4.2 采用交叉验证的元级评估42 3.5 根据相关度评估推荐42 3.6 评估推荐的效果44 3.6.1 性能损失和损失曲线44 3.6.2 用曲线下面积表征损失曲线45 3.6.3 将通过多程交叉验证的损失曲线聚合起来46 3.6.4 在特定时间预算内进行统计测试46 3.7 一些有用的度量标准47 3.7.1 松弛精度47 3.7.2 归一化的“折算累计增益”47 参考文献48 第4章 数据集特征(元特征)50 4.1 简介50 4.2 分类任务中采用的数据特征描述51 4.2.1 简单、统计型和信息理论型(SSI)元特征52 4.2.2 基于模型的元特征53 4.2.3 基于性能的元特征54 4.2.4 基于概念和复杂性的元特征55 4.3 回归任务中采用的数据特征描述57 4.3.1 简单元特征和统计元特征57 4.3.2 基于复杂性的度量58 4.3.3 基于复杂性/模型的度量58 4.3.4 光滑度度量58 4.3.5 非线性度量59 4.4 时间序列任务中使用的数据特征描述59 4.5 聚类任务中采用的数据特征描述60 4.6 从基本集中衍生出新特征61 4.7 元特征的选择64 4.7.1 静态选择元特征64 4.7.2 动态(迭代)数据特征描述65 4.8 针对算法的表征和表示问题65 4.8.1 针对算法的数据特征描述65 4.8.2 表示问题66 4.9 确立数据集之间的相似度66 4.9.1 基于元特征的相似度66 4.9.2 基于算法性能结果的相似度67 参考文献68 第5章 算法选择元学习法(二)74 5.1 简介74 5.2 在元学习系统中运用回归模型75 5.2.1 实证性能模型75 5.2.2 性能归一化77 5.2.3 性能模型77 5.2.4 聚类树77 5.2.5 将性能预测转化为排序78 5.2.6 针对每个实例的性能预测78 5.2.7 性能预测的优点和缺点78 5.3 在元层次上使用分类进行适用性预测79 5.4 基于成对比较的方法80 5.4.1 利用地标的成对检测81 5.4.2 针对局部学习曲线的成对方法81 5.5 算法集的成对方法84 5.6 用于实施成对测试的迭代方法87 5.7 使用ART树和森林89 5.8 主动测试90 5.8.1 兼顾准确度和运行时间的主动测试90 5.8.2 重在相似数据集的主动测试93 5.8.3 讨论94 5.9 非命题方法94 参考文献95 第6章 超参数优化的元学习99 6.1 简介99 6.2 基本超参数优化法101 6.2.1 基本概念101 6.2.2 基本优化方法101 6.2.3 进化法103 6.2.4 启发式搜索法103 6.2.5 超梯度104 6.2.6 多保真技术104 6.3 贝叶斯优化106 6.3.1 基于序变模型的优化106 6.3.2 树形结构Parzen估计量(TPE)108 6.4 超参数优化的元学习109 6.4.1 热启动：在初始化过程中利用元知识109 6.4.2 元知识在贝叶斯优化中的应用111 6.4.3 自适应数据集相似度113 6.5 结束语113 参考文献114 第7章 自动化工作流/应用流水线设计119 7.1 简介119 7.2 自动工作流设计中的搜索约束120 7.2.1 定义备选方案的空间(描述性偏差)121 7.2.2 采用程序偏差的不同方式123 7.2.3 上下文无关文法(CFG)123 7.3 工作流设计中采用的策略126 7.3.1 运算符126 7.3.2 人工选择运算符126 7.3.3 手动修改现有工作流126 7.3.4 规划在工作流设计中的应用127 7.4 利用成功计划(工作流)的排序131 参考文献132 第二部分 优选技术和方法 第8章 设置构形空间与实验139 8.1 简介139 8.2 配置空间的类型140 8.2.1 与算法选择相关联的配置空间140 8.2.2 与超参数优化及超参数优化与算法选择结合相关联的配置空间140 8.2.3 与工作流设计相关联的配置空间142 8.3 特定任务配置空间的充分性142 8.4 超参数重要度与边际贡献144 8.4.1 算法的边际贡献(工作流)144 8.4.2 确定特定数据集上的超参数重要性144 8.4.3 跨数据集确立超参数重要性145 8.5 缩减配置空间146 8.5.1 缩减算法/配置的组合146 8.5.2 面向度量组合的归约法150 8.6 符号学习中的配置空间151 8.7 需要的数据集152 8.7.1 依赖现有的数据集储存库152 8.7.2 生成人工数据集153 8.7.3 生成现有数据集的变体153 8.7.4 分割大型数据集或数据流153 8.7.5 搜寻具有判别能力的数据集154 8.8 完备元数据与不完备元数据155 8.8.1 有无可能获得完备的元数据156 8.8.2 有无必要拥有完备的元数据157 8.8.3 测试顺序重不重要157 8.9 利用多臂老虎机的策略安排实验157 8.10 探讨160 参考文献160 第9章 将基学习器组合为集成学习器165 9.1 简介165 9.2 袋装法和推进法166 9.2.1 袋装法166 9.2.2 推进法167 9.3 堆叠与级联归纳169 9.3.1 堆叠169 9.3.2 级联归纳170 9.4 级联与代理172 9.4.1 级联172 9.4.2 委托174 9.5 仲裁法175 9.6 元决策树177 9.7 讨论179 参考文献179 第10章 集成法中的元学习182 10.1 简介182 10.2 集成系统的基本特征183 10.3 基于选择的集成构建方法184 10.4 集成学习(每数据集)184 10.4.1 构建和剪枝阶段的元学习185 10.4.2 整合阶段的元学习187 10.5 动态选择模型(每实例)188 10.6 创建层级集成模型190 10.6.1 层级集成模型190 10.6.2 利用进化计算改进层级集成模型190 10.6.3 层级集成方法中的元学习191 10.7 结论与未来研究展望191 参考文献191 第11章 数据流算法推荐194 11.1 简介194 11.1.1 根据数据流场景调整批处理分类器196 11.1.2 根据数据流场景调整集成模型196 11.1.3 动因197 11.2 基于元特征的方法197 11.2.1 方法198 11.2.2 训练元模型198 11.2.3 元特征199 11.2.4 超参数的考虑因素200 11.2.5 元模型200 11.2.6 数据流元学习系统的评估201 11.2.7 基准201 11.2.8 讨论202 11.3 数据流集成202 11.3.1 上一区间很好分类器(Blast)203 11.3.2 渐消因子204 11.3.3 特征漂移的异构集成205 11.3.4 选择很好分类器的考虑因素205 11.3.5 讨论205 11.4 递归元级模型206 11.4.1 准确度衡量的集成模型206 11.4.2 两层架构207 11.5 未来研究的挑战208 参考文献209 第12章 跨任务知识迁移212 12.1 简介212 12.2 背景、术语和符号213 12.2.1 迁移学习何时可用213 12.2.2 迁移学习的类型213 12.2.3 可以迁移哪些内容214 12.3 迁移学习中的学习架构215 12.3.1 神经网络中的迁移215 12.3.2 核方法中的迁移219 12.3.3 参数化贝叶斯模型中的迁移219 12.4 理论框架220 12.4.1 学会学习场景221 12.4.2 元学习器泛化误差的界限221 12.4.3 其他理论研究222 12.4.4 元学习中的偏差与方差224 附录A 224 参考文献226 第13章 深度神经网络中的元学习230 13.1 简介230 13.2 背景和符号230 13.2.1 深度神经网络中的元抽象231 13.2.2 常用训练和评估程序231 13.2.3 本章剩余部分概述233 13.3 基于度量的元学习234 13.3.1 连体神经网络236 13.3.2 匹配网络237 13.3.3 图神经网络238 13.3.4 注意循环比较器239 13.4 基于模型的元学习240 13.4.1 记忆增强神经网络242 13.4.2 元网络243 13.4.3 简单的神经注意力学习器(SNAIL)245 13.4.4 条件神经过程247 13.5 基于优化的元学习248 13.5.1 LSTM优化器249 13.5.2 强化学习优化器250 13.5.3 模型无关元学习(MAML)251 13.5.4 爬行动物253 13.6 讨论与展望255 13.6.1 开放的挑战256 13.6.2 未来的研究256 参考文献257 第14章 数据科学自动化261 14.1 简介261 14.2 确定当前的问题/任务262 14.2.1 问题理解和描述262 14.2.2 生成任务描述符262 14.2.3 确定任务类型和目标263 14.3 确定任务域和知识264 14.4 获得数据265 14.4.1 选择现有的数据或计划如何获得数据？265 14.4.2 确定特定域数据和背景知识265 14.4.3 从不同源中获得数据和背景知识266 14.5 自动化数据预处理和转换266 14.5.1 数据转换/数据整理267 14.5.2 实例选择和模型压缩269 14.5.3 自动选择预处理方法269 14.5.4 改变表征的颗粒度270 14.6 自动模型及报告生成271 14.6.1 自动模型生成及部署271 14.6.2 自动报告生成271 参考文献271 第15章 复杂系统设计自动化275 15.1 简介275 15.2 利用一组丰富的运算符276 15.3 引入新概念以改变粒度277 15.3.1 通过聚类定义新的概念277 15.3.2 构造性归纳278 15.3.3 以规则为基础的理论重构278 15.3.4 引入表示为规则的新概念279 15.3.5 命题化280 15.3.6 深度神经网络中的自动特征构造280 15.3.7 重用新概念来重定义本体280 15.4 在继续学习中重用新概念281 15.5 迭代学习281 15.6 学习解决共生任务283 参考文献284 第三部分 组织和利用元数据 第16章 元数据储存库289 16.1 简介289 16.2 整理世界机器学习信息289 16.2.1 对更好的元数据的需求289 16.2.2 工具和方案290 16.3 OpenML291 16.3.1 数据集291 16.3.2 任务类型292 16.3.3 任务292 16.3.4 流程293 16.3.5 设置294 16.3.6 运行294 16.3.7 研究和基准测试套件296 16.3.8 在机器学习环境中集成OpenML296 参考文献299 第17章 学习储存库中的元数据302 17.1 简介302 17.2 每数据集的算法性能分析302 17.2.1 对比不同的算法303 17.2.2 更改一些超参数设置的影响304 17.3 跨数据集的算法性能分析305 17.3.1 使用不同分类器的默认超参数的影响305 17.3.2 超参数优化的影响307 17.3.3 识别具有相似预测的算法(工作流)309 17.4 特定数据/工作流特征对性能的影响310 17.4.1 选择线性和非线性模型的影响310 17.4.2 采用特征选择的影响311 17.4.3 特定超参数设置的影响312 17.5 总结315 参考文献316 第18章 结束语318 18.1 简介318 18.2 不同方法中使用的元知识形式318 18.2.1 算法选择方法中的元知识319 18.2.2 超参数优化方法中的元知识320 18.2.3 工作流设计中的元知识320 18.2.4 迁移学习和深度神经网络中的元知识320 18.3 未来挑战321 18.3.1 设计与数据集特征和性能相关的元特征321 18.3.2 元学习与AutoML方法的进一步集成321 18.3.3 自动化适应当前任务321 18.3.4 自动化减少构形空间322 18.3.5 数据流挖掘自动化322 18.3.6 神经网络参数配置自动化323 18.3.7 数据科学自动化323 18.3.8 具有更复杂结构解决方案的设计自动化324 18.3.9 设计元学习/AutoML平台325 参考文献325 彩图