Hessian 判别法之所以有力,是因为定号的二次型能够压过阶数更高的误差项。当二次型在某个非零方向上为零时,这一论证便出现了缺口:高阶项可能决定符号。这个缺口并不意味着问题没有答案,而是意味着我们必须利用关于该具体函数的更多信息。
二阶展开究竟说明了什么
定义 4.6.1
(正定、半正定、不定与鞍点)
对称矩阵 称为正定,若对所有 有 ;称为半正定,若对所有 有 ;负定与半负定则把不等号反过来。若 取到两种符号,则 不定。临界点 (即 )若在每个邻域内既有 的点,也有 的点,就称为鞍点。
设 在临界点 附近为 函数,于是 。由泰勒(Taylor)定理得
定理 4.6.2
(临界点处的二阶导数判别法)
设 在临界点 附近属 。若 正定,则 是严格局部极小值点;若负定,则 是严格局部极大值点;若不定,则 是鞍点。
证明
(二次部分对余项)
若 正定,则存在常数 ,使得 。对充分小的非零 ,余项的绝对值小于 ,从而 。因此 是严格局部极小值点。类似地,负定的 Hessian 给出严格极大值点。若 Hessian 不定,则使二次型取正值和负值的方向会在任意接近 处给出两种符号的点,因此 是鞍点。
证明透视
定性在证明中的作用
证明比较两个同阶的量。定性只用一次:它给出常数 ,使 ;然后取 足够小,令余项小于 ,二次部分便占上风。在不定的情形,同一比较沿一个固定方向 进行,其中 ,其符号在 中保持不变。若 Hessian 只是半正定,在零方向上 可以是零,余项不再受到压制,论证便没有结论。
当 Hessian 仅为半正定时,可能存在方向 满足 。此时不再有 形式的二次下界。误差相对于 是小量,但在二次型为零的方向上,它仍可能为正、为负或为零。因此,行列式为零使得二元行列式判别法失效;它既不意味着鞍点,也不意味着极小值点。
先配方,再猜路径
例题 4.6.3
(在半正定点配方)
判断下列函数在原点处的临界点类型:
在原点处梯度为零,且 半正定。与其使用一个条件不满足的判别法,不如将整个表达式改写为:
两项均非负。它们的和为零当且仅当 ,进而 。因此原点是严格全局极小值点。这一证明同时控制了所有路径,包括像 这样、仅限于直线的检验无法发现的曲线。沿这条曲线,第一个平方项为零,但剩下的 在 时为正。
例题 4.6.4
(同一个 Hessian,相反的路径)
现在取函数
它在原点处的 Hessian 与上面相同。沿 ,当 时其值为 ;而沿 ,其值为 。两条路径都趋于原点,所以原点是鞍点。这两个函数说明了为什么仅凭 Hessian 无法判定半定的情形。
下面的互动图在 变化时保持 Hessian 为 ,沿直线与抛物线探测原点,并与配方的结果比较。
Hessian 在某方向为零:直线会误导,配方才能判定
对 f(x, y) = x² + βxy² + γy⁴,无论 β、γ 取何值,原点处的 Hessian 都是 diag(2, 0),行列式判别法无法下结论。请改变 β 与 γ,沿一条路径探测原点,并与配方结果比较。
(0, 0) 处的 Hessian: diag(2, 0),行列式为 0:行列式判别法无法下结论.
配方: f = (x + (1/2)y²)² + (3/4)y⁴ (f = (x + (β/2)y²)² + δy⁴,其中 δ = γ − β²/4)
正方形 [−1, 1]² 取 41 × 41 个格点。深色格 f < 0,描边格 f = 0,浅色格 f > 0。虚线曲线为 x = −βy²/2;粗曲线或粗直线为当前的探测路径;圆点为原点。各符号的格数列在读数中。
| 路径 | f 沿路径的式子 | 首项 | 原点附近 f 的符号(不含原点) |
|---|---|---|---|
| 直线 (t, kt), k = 1 | f = t² + t³ + t⁴ | t²: 1 | 正 |
| 直线 (0, t) | f = t⁴ | y⁴: 1 | 正 |
| 抛物线 (μy², y), μ = −1/2 | f = (3/4)y⁴. 此 μ 使 μ² + βμ + γ 最小,故系数等于 δ | y⁴: 3/4 | 正 |
- δ = γ − β²/4
- 3/4
- 原点的分类
- 严格极小点(δ > 0)
- 过原点的直线
- 每条直线上 f 在原点附近为正
- 曲线 x = −βy²/2 上 f(−β/8, 1/2) 的值
- 3/64
- f > 0 的格数
- 1680
- f = 0 的格数
- 1
- f < 0 的格数
- 0
β = 1, γ = 1, δ = 3/4: 严格极小点(δ > 0). 严格极小点:配方的两项都非负,且只在原点同时为零。 探测路径: 抛物线 (μy², y), 正.
为何一次配方便能判定所有情形
展开 (x + (β/2)y²)² 得 x² + βxy² + (β²/4)y⁴,故对所有 (x, y) 有 f = (x + (β/2)y²)² + (γ − β²/4)y⁴。Hessian 的各项为 f_xx = 2、f_xy = 2βy、f_yy = 2βx + 12γy²,在原点除 f_xx 外全为零。
若 δ > 0,f 是两个非负项之和,两项仅在 y = 0 且 x = 0 时同时为零,故原点是严格全局极小点。若 δ = 0,f 是完全平方,恰在 x = −βy²/2 上为零。若 δ < 0,在 y = 0 上 f = x² > 0,但在 x = −βy²/2(y ≠ 0)上 f = δy⁴ < 0。
沿直线 (t, kt),f = t² + βk²t³ + γk⁴t⁴ 的首项为 t² > 0;沿 (0, t),f = γt⁴。因此 γ > 0 时每条直线都显示严格极小;若同时 γ < β²/4,原点仍是鞍点,例如 β = 3、γ = 1。沿 (μy², y),f = (μ² + βμ + γ)y⁴,在 μ = −β/2 时最小,值为 δy⁴。
β 为 −4 至 4 的整数,γ 由 −2 至 5 每步 1/4,斜率 k 为 −4 至 4 的整数,μ 由 −4 至 4 每步 1/2。分类、δ 与各系数都是精确有理数;格点符号以整数精确计算。
路径可以否定结论,界才能证明结论
要证明鞍点,只需找到趋于该点的两个序列或两条曲线,使函数差在其上符号相反。要证明局部极小值,检验有限多条路径无法排除函数在另一条曲线上取负值的可能。因式分解、不等式或经过仔细控制的余项估计更为有力,因为它们适用于整个邻域。
反例模式
每条直线上都是极小,原点却是鞍点
只检查有限条直线路径可能误导。设 。它在原点的 Hessian 是 ,是半正定的。在直线 ()上,,在 足够小时为正;在 上,;在 上,。所以在原点附近沿每条直线都有 。可是沿抛物线 ,,而沿 ,。两种符号都在原点任意近处出现,所以原点是鞍点。直线只看到直的方向;与零方向相切的曲线仍可改变符号。
例题 4.6.5
(不严格的极小值)
判断下列函数在原点的类型:
原点是局部极小值点,也是全局极小值点,但不是严格的:每个点 处的函数值都为零。若题目问的是严格性或唯一性,那么等号成立的条件与不等式本身同样重要。
对于约束极值,可行集改变了可用的方向。在正则的约束极值点处,梯度不一定为零;而在整个平面中进行的检验也不一定能对限制在约束上的函数进行分类。应先确定极值的存在性,然后检查内部候选点以及每一个边界部分;只在乘数法的正则性条件成立处使用拉格朗日(Lagrange)乘数。
常见错误
(把行列式为零当作结论)
对 与 ,原点的 Hessian 是同一个奇异矩阵 。前者是严格极小,后者是鞍点。行列式为零只表示这个判别法没有答案。
常见错误
(以为极小值必然严格)
函数 在原点有全局最小值,但 在整条曲线 上为零,所以原点的任何邻域中都有不同于原点而 的点。严格性需要另行论证。
分类前的检查清单
- 验证该点在定义域内;在 可微处取得的内部局部极值点必须是驻点。
- 说明展开所需的正则性,并计算该点处的 Hessian。
- 若 Hessian 定号或不定,使用有效的判别法论证分类结果。若为半定,不要仅凭行列式推断分类。
- 对极小值/极大值,寻找全局恒等式或局部界;对鞍点,使用符号相反的路径来确立。
- 说明极值是否严格,以及结论是局部的还是全局的。
即时检查
快速检查
(判断 在原点的类型。)
Hessian 是 。
解答 · 答案
两项都非负,且只在 同时为零,所以其余各点 :这是严格的全局最小值,虽然 Hessian 判别法没有结论。
快速检查
(判断 在原点的类型。)
比较路径 在 与 的情形。
解答 · 答案
Hessian 是 。沿 , 在 时为正,在 时为负,所以原点是鞍点。
快速检查
(判断 的临界点类型。)
在哪里为零?
解答 · 答案
,并在整条直线 上等于零,而这条线上的每一点都是临界点。每一点都是全局最小值点,但都不严格。Hessian 处处半正定且奇异。