机器学习中的优化算法

第1章 绪论 1.1 向量和矩阵范数 1.2 多元函数分析 1.3 凸分析基础 1.3.1 凸集与凸集分离定理 1.3.2 凸函数 1.3.3 共轭函数 1.4 化问题与算法基础 1.4.1 化问题概述 1.4.2 性条件 1.4.3 化算法框架 第2章 机器学习中的无约束优化模型与算法 2.1 无约束机器学习模型的一阶算法 2.1.1 梯度下降算法 2.1.2 加速梯度下降算法 2.1.3 随机梯度下降算法 2.1.4 临近梯度下降算法 2.1.5 临近随机梯度下降算法 2.1.6 应用举例 2.2 无约束机器学习模型的二阶算法 2.2.1 无约束优化问题的Newton算法 2.2.2 无约束优化问题的拟Newton算法 2.2.3 无约束机器学习模型的子采样Newton型算法 2.2.4 无约束机器学习模型的临近Newton型算法 第3章 机器学习中的约束优化模型与算法 3.1 投影梯度算法 3.1.1 投影与投影矩阵 3.1.2 投影梯度法 3.2 条件梯度及其加速算法 3.2.1 条件梯度法及收敛性 3.2.2 加速条件梯度滑动算法 3.3 原.对偶内点法 3.3.1 凸二次规划的原.对偶内点法 3.3.2 内点法在支持向量机中的应用 3.4 ADMM算法 3.4.1 预备知识 3.4.2 ADMM算法 3.4.3 ADMM的改进算法 3.4.4 ADMM在机器学习中的应用 第4章 其他规划模型与算法 4.1 DC规划 4.1.1 DC规划 4.1.2 基于ramp损失函数的支持向量机模型的DCA算法 4.2 Minimax规划 4.2.1 Minimax规划的 性条件 4.2.2 Minimax规划的算法 4.2.3 鲁棒神经网络训练的Minimax规划模型 4.3 双层规划 4.3.1 双层规划模型简介 4.3.2 双层规划模型的算法