跳到正文

MATH4230

最优化理论

凸性与最优条件、拉格朗日对偶与 KKT 条件、下降法、牛顿法与拟牛顿法、近端与投影方法、罚函数法及内点法。

12 章 · 28 节EN · 繁 · 简
我的课程笔记

你的进度

0/ 28 节已标记完成

下一节: 凸性与最优条件

完成记录保存在此浏览器中。

这门课在网上

MATH4230 笔记里的内容

定理卡
79
定义
35
反例
30
概念视角
17
思想史
0
证明透视
31

这门课的概念视角还没有记录到网上。

在知识图谱中打开这门课

数字只算这门课 28 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。

在网上定理卡 79 · 定义 35 · 反例 30 · 概念视角 17 · 证明透视 31

这门课的概念视角还没有记录到网上。

在知识图谱中打开这门课

数字只算这门课 28 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。

第 1 章 · 1 节

凸性与最优条件

凸集、支撑平面及局部与全局最小值。

定理 3 · 定义 3反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 1.1

    凸性与最优条件

    凸集、支撑平面及局部与全局最小值。

第 2 章 · 3 节

拉格朗日对偶与 KKT 证书

对偶下界及受约束最优性证书。

定理 9 · 定义 3反例 3视角 1证明透视 3

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 2.1

    拉格朗日对偶与 KKT 证书

    对偶下界及受约束最优性证书。

  2. 2.2

    Farkas 择一原理与线性化最优性

    推导线性不可行证书,并连接线性化下降方向与乘数条件。

  3. 2.3

    局部灵敏度与乘子

    推导等式约束最优解及其值如何随右端项改变。

第 3 章 · 2 节

下降法、共轭方向与 BFGS

线搜索、共轭方向及逆 BFGS 更新。

定理 4 · 定义 3反例 2视角 1证明透视 3

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 3.1

    下降法、共轭方向与 BFGS

    线搜索、共轭方向及逆 BFGS 更新。

  2. 3.2

    二次函数上的精确最速下降法

    证明精确线搜索的谱下降界,并理解它仍可能走锯齿路径的原因。

第 4 章 · 3 节

局部最优性与约束资格条件

可行及临界方向、乘子资格条件与二阶判别。

定理 7 · 定义 5反例 3视角 1证明透视 3

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 4.1

    局部最优性与约束资格条件

    可行及临界方向、乘子资格条件与二阶判别。

  2. 4.2

    约束资格条件与乘子的稳定性

    由可行方向理解 MFCQ、KKT 乘子及其有界性。

  3. 4.3

    等式约束二次问题与约化 Hessian

    利用可行方向判断二次问题的最小点是否存在、是否唯一。

第 5 章 · 5 节

分离、次梯度与强对偶

分离及 Slater 对偶的扰动证明与敏感度。

定理 17 · 定义 2反例 7视角 4证明透视 5

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 5.1

    分离、次梯度与强对偶

    分离及 Slater 对偶的扰动证明与敏感度。

  2. 5.2

    次梯度运算与投影次梯度步骤

    在明确条件下计算支持斜率,并证明非光滑凸最小化的最佳迭代点及平均点速率。

  3. 5.3

    渐退方向与最小点的存在性

    利用闭凸几何区分逃逸方向、有界水平集、最小值的取得及唯一性。

  4. 5.4

    Fenchel 共轭与对偶证书

    共轭函数、Fenchel 等号与等式约束对偶证书。

  5. 5.5

    双共轭与闭凸包络

    从仿射下界重建闭凸函数,并理解条件不成立时的变化。

第 6 章 · 2 节

线搜索、收敛与牛顿法

Armijo、Wolfe 收敛与牛顿法的局部收敛。

定理 8 · 定义 4反例 2视角 2证明透视 3

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 6.1

    线搜索、收敛与牛顿法

    Armijo、Wolfe 收敛与牛顿法的局部收敛。

  2. 6.2

    强 Wolfe 条件的括区与缩放搜索

    建立带方向的线搜索括区,证明精确算术下的有限步终止,并区分数学接受与数值停止。

第 7 章 · 4 节

共轭梯度法与拟牛顿更新

CG 递推、BFGS 曲率与有条件的收敛结果。

定理 10 · 定义 5反例 4证明透视 5

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 7.1

    共轭梯度法与拟牛顿更新

    CG 递推、BFGS 曲率与有条件的收敛结果。

  2. 7.2

    阻尼与有限记忆 BFGS

    在拟 Newton 更新中保持正曲率,并毋须储存完整矩阵便能套用逆矩阵更新。

  3. 7.3

    非线性共轭梯度法与下降性

    构造 Fletcher–Reeves 方向,区分二次问题的共轭性与非线性下降性,并证明强 Wolfe 下降界。

  4. 7.4

    DFP 逆 Hessian 更新

    推导 DFP 更新,证明其曲率性质,并计算一个二次函数例子。

第 8 章 · 1 节

8. 投影方法

证明光滑凸目标的投影梯度下降。

定理 3 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 8.1

    光滑凸目标的投影梯度法

    推导投影下降不等式及有限迭代目标界。

第 9 章 · 2 节

近端方法

推导软阈值及其不扩张性。

定理 6 · 定义 3反例 2视角 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 9.1

    作为近端映射的软阈值

    用次梯度推导阈值规则并证明稳定性。

  2. 9.2

    近端梯度法

    以梯度步与近端映射交替,极小化光滑凸函数加简单凸惩罚项,并证明 O(1/k) 的目标值上界。

第 10 章 · 2 节

信赖域模型与一阶收敛

二次模型证书、Cauchy 下降及受保障的一阶全局收敛定理。

定理 6 · 定义 2反例 2视角 3证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 10.1

    信赖域模型与一阶收敛

    求球内二次模型的最小值,推导 Cauchy 下降并证明有界模型的收敛结果。

  2. 10.2

    Cauchy 点与截断共轭梯度法

    构造有限步的信赖域模型求解法,证明充分下降,并解读内点与边界的残差证书。

第 11 章 · 2 节

精确罚函数与增广拉格朗日法

精确等式罚函数及增广拉格朗日法的近端对偶收敛证明。

定理 4 · 定义 2反例 2视角 2证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 11.1

    精确罚函数与增广拉格朗日法

    利用对偶乘子证明精确性,并推导等式约束的增广拉格朗日算法。

  2. 11.2

    不等式增广拉格朗日法与投影乘子

    推导正部增广拉格朗日函数及近端对偶步,并在明确的取到假设下证明精确算法收敛。

第 12 章 · 1 节

障碍法与内点法

对数障碍函数、中心路径与可验证的对偶间隙 m/t。

定理 2 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 12.1

    对数障碍法与中心路径

    以对数障碍函数取代不等式约束,沿中心路径前进,并证明对偶间隙不超过 m/t。

Vercel 访问统计与公开页面性能测量分别征求同意,均非使用网站的必要条件。

网站功能存储(按需使用)

安全、登录和你选择的偏好会按需使用存储,与可选统计分开处理。

撤回会停止后续统计;需要卸载已加载的统计程序时,页面会刷新。已发送的数据不会因此删除。

查看 Cookie 与存储详情