数据科学优化方法(数据科学与大数据技术丛书)

第 1 章 导 论 1.1 本书考虑的 化问题 1.2 优化方法的特点和要求 1.3 本书主要内容 第 2 章 无约束优化方法基础 2.1 性条件 2.2 方法框架 2.3 收敛准则 第 2 章习题 第 3 章 线搜索方法 3.1 线搜索方法 3.2 线搜索方法的收敛性 3.3 非 线搜索方法 3.4 非 线搜索方法的收敛性 第 3 章习题 第 4 章 负梯度方法 4.1 梯度下降方法 4.2 速下降方法 4.3 梯度下降方法的变体 4.4 梯度下降方法的改进 4.5 数值实验 第 4 章习题 第 5 章 牛顿方法 5.1 基本牛顿方法 5.2 基本牛顿方法的改进 5.3 牛顿方法在非线性 小二乘问题中的应用 5.4 数值实验 第 5 章习题 第 6 章 拟牛顿方法 6.1 拟牛顿条件 6.2 对称秩 1 方法 6.3 DFP 方法 6.4 BFGS 方法 6.5 Broyden 族方法 6.6 拟牛顿方法的收敛性及收敛速度 6.7 L-BFGS 方法 6.8 数值实验 第 6 章习题 第 7 章 共轭梯度方法 7.1 共轭方向方法 7.2 针对正定二次函数的共轭梯度方法 7.3 非线性共轭梯度方法 7.4 数值实验 第 7 章习题 第 8 章 约束 化问题的 性理论 8.1 约束 化问题的一般形式和定义 8.2 约束 化问题的一阶 性条件 8.3 约束 化问题的二阶 性条件 8.4 约束 化的对偶问题 第 8 章习题 第 9 章 罚函数方法 9.1 二次罚函数方法 9.2 障碍函数方法 9.3 增广 Lagrange 函数方法 9.4 数值实验 第 9 章习题 第 10 章 近端方法 10.1 近端算子 10.2 近端极小化方法 10.3 近端梯度方法 10.4 加速近端梯度方法 第 11 章 坐标下降方法 11.1 随机坐标下降方法 11.2 加速随机坐标下降方法 11.3 循环坐标下降方法 11.4 求解可分正则 化问题的随机坐标下降方法 第 12 章 交替方向乘子方法 12.1 方法基础 12.2 ADMM 方法的一般形式和理论性质 12.3 一致性问题 12.4 共享问题 12.5 数值实验 附录 A 数学基础 A.1 线性代数 A.2 微积分 A.3 凸分析 附录 B 符号说明 参考文献