Hessian 判別法之所以有力,是因為一個定號的二次型會壓過階數更高的誤差項。當二次型在某個非零方向上等於零時,這個論證便出現缺口:高階項可能決定符號。這個缺口並不代表沒有答案,而是表示我們必須利用該函數本身的更多資訊。
二階展開實際上說了甚麼
定義 4.6.1
(正定、半正定、不定與鞍點)
對稱矩陣 稱為正定,若對所有 有 ;稱為半正定,若對所有 有 ;負定與半負定則把不等號反過來。若 取到兩種符號,則 不定。臨界點 (即 )若在每個鄰域內既有 的點,也有 的點,就稱為鞍點。
設 在臨界點 附近屬 ,因此 。泰勒(Taylor)定理給出
定理 4.6.2
(臨界點處的二階導數判別法)
設 在臨界點 附近屬 。若 正定,則 是嚴格局部極小值點;若負定,則 是嚴格局部極大值點;若不定,則 是鞍點。
證明
(二次部分對餘項)
若 是正定的,則存在常數 使得 。對於足夠小的非零 ,餘項的絕對值小於 ,於是 。因此 是嚴格局部極小點。同理,負定的 Hessian 給出嚴格極大點。若 Hessian 是不定的,則在二次型取正值和負值的方向上,在足夠接近 的地方會分別出現兩種符號的點,所以它是鞍點。
證明透視
定性在證明中的作用
證明比較兩個同階的量。定性只用一次:它給出常數 ,使 ;然後取 足夠小,令餘項小於 ,二次部分便佔上風。在不定的情況,同一比較沿一個固定方向 進行,其中 ,其符號在 中保持不變。若 Hessian 只是半正定,在零方向上 可以是零,餘項不再受到壓制,論證便沒有結論。
當 Hessian 只是半正定時,可能存在方向 滿足 。此時便不再有以 為下界的二次估計。誤差相對於 雖然很小,但在二次型為零的方向上,它仍可能是正、負或零。因此,行列式為零會令二元行列式判別法無法下結論;它既不意味著鞍點,也不意味著極小點。
先配方,再猜路徑
例題 4.6.3
(在半正定點配方)
判斷下列函數在原點處的臨界點類型:
在原點,梯度為零,而 是半正定的。與其套用一個假設不成立的判別法,不如改寫整個表達式:
兩項均非負。它們的和為零當且僅當 ,繼而 。因此原點是嚴格全域極小點。這個證明一次過控制了所有路徑,包括像 這類只沿直線檢查的方法看不到的曲線。沿著該曲線,第一個平方項為零,但餘下的 在 時為正。
例題 4.6.4
(同一個 Hessian,相反的路徑)
現在取函數
它在原點的 Hessian 相同。沿 ,當 時其值為 ;而沿 ,其值為 。兩條路徑都趨向原點,所以原點是鞍點。這兩個函數說明了為何單靠 Hessian 無法判定半定的情況。
下面的互動圖在 變化時保持 Hessian 為 ,沿直線與拋物線探測原點,並與配方的結果比較。
路徑可以否定一個命題;估計才能證明一個命題
要證明鞍點,只需找到兩個趨向該點的序列或曲線,使函數差在其上符號相反。要證明局部極小點,檢查有限多條路徑並不能排除函數在另一條曲線上取負值的可能。因式分解、不等式或經仔細控制的餘項較為有力,因為它們適用於整個鄰域。
反例模式
每條直線上都是極小,原點卻是鞍點
只檢查有限條直線路徑可能誤導。設 。它在原點的 Hessian 是 ,是半正定的。在直線 ()上,,在 足夠小時為正;在 上,;在 上,。所以在原點附近沿每條直線都有 。可是沿拋物線 ,,而沿 ,。兩種符號都在原點任意近處出現,所以原點是鞍點。直線只看到直的方向;與零方向相切的曲線仍可改變符號。
例題 4.6.5
(不嚴格的極小值)
判斷下列函數在原點的類型:
原點是局部及全域極小點,但並非嚴格極小點:每一點 的函數值都是零。若題目問及嚴格性或唯一性,等號成立的條件與不等式本身同樣重要。
對於有約束的極值問題,可行集會改變可用的方向。在正則的約束極值點,梯度不一定為零;而在整個平面上進行的判別,也不一定能為限制在約束上的函數分類。應先確定極值是否存在,再檢查內部候選點及每一個邊界部分;只在正則性假設成立的地方使用乘數法。
常見錯誤
(把行列式為零當作結論)
對 與 ,原點的 Hessian 是同一個奇異矩陣 。前者是嚴格極小,後者是鞍點。行列式為零只表示這個判別法沒有答案。
常見錯誤
(以為極小值必然嚴格)
函數 在原點有全局最小值,但 在整條曲線 上為零,所以原點的任何鄰域中都有不同於原點而 的點。嚴格性需要另行論證。
分類前的檢查清單
- 確認該點位於定義域內;在 可微的內點取得的局部極值必定是駐點。
- 寫明展開所需的正則性,並計算該點的 Hessian。
- 若為定號或不定,以有效的判別法說明分類理由。若為半定,切勿單憑行列式推斷分類。
- 對於極小/極大點,尋找全域恆等式或局部估計;對於鞍點,用符號相反的路徑加以確立。
- 說明極值是否嚴格,以及結論是局部還是全域的。
即時檢查
快速檢查
(判斷 在原點的類型。)
Hessian 是 。
解答 · 答案
兩項都非負,且只在 同時為零,所以其餘各點 :這是嚴格的全局最小值,雖然 Hessian 判別法沒有結論。
快速檢查
(判斷 在原點的類型。)
比較路徑 在 與 的情況。
解答 · 答案
Hessian 是 。沿 , 在 時為正,在 時為負,所以原點是鞍點。
快速檢查
(判斷 的臨界點類型。)
在哪裏為零?
解答 · 答案
,並在整條直線 上等於零,而這條線上的每一點都是臨界點。每一點都是全局最小值點,但都不嚴格。Hessian 處處半正定且奇異。