多目标贝叶斯优化:面向大模型的超参调优理论

第1章 概述 1.1 研究背景 1.2 昂贵的多目标优化问题 1.3 研究现状分析 1.3.1 低维多目标贝叶斯优化方法 1.3.2 高维多目标贝叶斯优化方法 1.4 本书的主要研究内容 1.5 本书的结构安排 第2章 背景知识 2.1 基本概念 2.2 贝叶斯优化 2.3 高斯过程 2.3.1 均值函数和核函数选择 2.3.2 超参数选择 2.4 获取函数 2.4.1 期望改进 2.4.2 知识梯度 2.4.3 熵搜索和预测熵搜索 2.4.4 多步 获取函数 2.5 标准合成的多目标测试问题 2.6 多目标优化方法的评价指标 2.7 本章小结 第3章 研究综述 3.1 综述部分的总体结构 3.2 相关研究工作 3.2.1 高维优化 3.2.2 组合优化 3.2.3 噪声和鲁棒优化 3.2.4 昂贵的约束优化 3.2.5 多目标优化 3.2.6 多任务优化 3.2.7 多保真度优化 3.2.8 迁移学习/元学习 3.2.9 并行/批次贝叶斯优化 3.3 本章小结 第4章 基于自适应采样的批量多目标贝叶斯优化方法 4.1 引言 4.2 ParEGO简介与局限性分析 4.3 基于自适应采样的批量多目标贝叶斯优化的研究方法 4.3.1 算法框架 4.3.2 初始化 4.3.3 函数评估与目标函数聚合 4.3.4 获取函数 4.3.5 自适应批量采样 4.3.6 高斯模型及 新 4.4 实验 4.4.1 实验设置 4.4.2 标准合成测试集上的对比结果 4.4.3 采样策略对算法性能的影响 4.5 神经网络超参调优任务案例分析