你的进度
0/ 28 节已标记完成
下一节: 凸性与最优条件
完成记录保存在此浏览器中。
这门课在网上
MATH4230 笔记里的内容
数字只算这门课 28 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。
在网上定理卡 79 · 定义 35 · 反例 30 · 概念视角 17 · 证明透视 31
第 1 章 · 1 节
凸性与最优条件
凸集、支撑平面及局部与全局最小值。
- 1.1
凸性与最优条件
凸集、支撑平面及局部与全局最小值。
第 2 章 · 3 节
拉格朗日对偶与 KKT 证书
对偶下界及受约束最优性证书。
- 2.1
拉格朗日对偶与 KKT 证书
对偶下界及受约束最优性证书。
- 2.2
Farkas 择一原理与线性化最优性
推导线性不可行证书,并连接线性化下降方向与乘数条件。
- 2.3
局部灵敏度与乘子
推导等式约束最优解及其值如何随右端项改变。
第 3 章 · 2 节
下降法、共轭方向与 BFGS
线搜索、共轭方向及逆 BFGS 更新。
- 3.1
下降法、共轭方向与 BFGS
线搜索、共轭方向及逆 BFGS 更新。
- 3.2
二次函数上的精确最速下降法
证明精确线搜索的谱下降界,并理解它仍可能走锯齿路径的原因。
第 4 章 · 3 节
局部最优性与约束资格条件
可行及临界方向、乘子资格条件与二阶判别。
- 4.1
局部最优性与约束资格条件
可行及临界方向、乘子资格条件与二阶判别。
- 4.2
约束资格条件与乘子的稳定性
由可行方向理解 MFCQ、KKT 乘子及其有界性。
- 4.3
等式约束二次问题与约化 Hessian
利用可行方向判断二次问题的最小点是否存在、是否唯一。
第 5 章 · 5 节
分离、次梯度与强对偶
分离及 Slater 对偶的扰动证明与敏感度。
- 5.1
分离、次梯度与强对偶
分离及 Slater 对偶的扰动证明与敏感度。
- 5.2
次梯度运算与投影次梯度步骤
在明确条件下计算支持斜率,并证明非光滑凸最小化的最佳迭代点及平均点速率。
- 5.3
渐退方向与最小点的存在性
利用闭凸几何区分逃逸方向、有界水平集、最小值的取得及唯一性。
- 5.4
Fenchel 共轭与对偶证书
共轭函数、Fenchel 等号与等式约束对偶证书。
- 5.5
双共轭与闭凸包络
从仿射下界重建闭凸函数,并理解条件不成立时的变化。
第 6 章 · 2 节
线搜索、收敛与牛顿法
Armijo、Wolfe 收敛与牛顿法的局部收敛。
- 6.1
线搜索、收敛与牛顿法
Armijo、Wolfe 收敛与牛顿法的局部收敛。
- 6.2
强 Wolfe 条件的括区与缩放搜索
建立带方向的线搜索括区,证明精确算术下的有限步终止,并区分数学接受与数值停止。
第 7 章 · 4 节
共轭梯度法与拟牛顿更新
CG 递推、BFGS 曲率与有条件的收敛结果。
- 7.1
共轭梯度法与拟牛顿更新
CG 递推、BFGS 曲率与有条件的收敛结果。
- 7.2
阻尼与有限记忆 BFGS
在拟 Newton 更新中保持正曲率,并毋须储存完整矩阵便能套用逆矩阵更新。
- 7.3
非线性共轭梯度法与下降性
构造 Fletcher–Reeves 方向,区分二次问题的共轭性与非线性下降性,并证明强 Wolfe 下降界。
- 7.4
DFP 逆 Hessian 更新
推导 DFP 更新,证明其曲率性质,并计算一个二次函数例子。
第 8 章 · 1 节
8. 投影方法
证明光滑凸目标的投影梯度下降。
- 8.1
光滑凸目标的投影梯度法
推导投影下降不等式及有限迭代目标界。
第 9 章 · 2 节
近端方法
推导软阈值及其不扩张性。
- 9.1
作为近端映射的软阈值
用次梯度推导阈值规则并证明稳定性。
- 9.2
近端梯度法
以梯度步与近端映射交替,极小化光滑凸函数加简单凸惩罚项,并证明 O(1/k) 的目标值上界。
第 10 章 · 2 节
信赖域模型与一阶收敛
二次模型证书、Cauchy 下降及受保障的一阶全局收敛定理。
- 10.1
信赖域模型与一阶收敛
求球内二次模型的最小值,推导 Cauchy 下降并证明有界模型的收敛结果。
- 10.2
Cauchy 点与截断共轭梯度法
构造有限步的信赖域模型求解法,证明充分下降,并解读内点与边界的残差证书。
第 11 章 · 2 节
精确罚函数与增广拉格朗日法
精确等式罚函数及增广拉格朗日法的近端对偶收敛证明。
- 11.1
精确罚函数与增广拉格朗日法
利用对偶乘子证明精确性,并推导等式约束的增广拉格朗日算法。
- 11.2
不等式增广拉格朗日法与投影乘子
推导正部增广拉格朗日函数及近端对偶步,并在明确的取到假设下证明精确算法收敛。
第 12 章 · 1 节
障碍法与内点法
对数障碍函数、中心路径与可验证的对偶间隙 m/t。
- 12.1
对数障碍法与中心路径
以对数障碍函数取代不等式约束,沿中心路径前进,并证明对偶间隙不超过 m/t。