泰勒展開與凸性

導數預測一階變化，Hessian 矩陣預測這一變化率如何隨方向改變。泰勒定理使近似定量化，而凸性將局部導數信息轉化為全局比較。每個結果的假設和餘項階數都是結論的一部分。

1 Hessian 矩陣與泰勒公式

設 $n\ge1$，$U\subset\mathbb R^n$ 為開集，$f:U\to\mathbb R$ 屬 $C^2$。其 Hessian 矩陣為 $H_f=(\partial_i\partial_jf)_{i,j}$。下面直接證明對稱性，無需交換積分。對不同坐標方向，在 $U$ 內取 $a$ 附近的小坐標矩形，並置

$$\Delta(s,t)=f(a+se_i+te_j)-f(a+se_i)-f(a+te_j)+f(a).$$

先把差分看成第 $i$ 個坐標的函數，使用一元中值定理，再對所得 $\partial_i f$ 在第 $j$ 個坐標上的差使用中值定理。對充分小的非零 $s,t$，這把 $\Delta(s,t)/(st)$ 表示為矩形內某點的 $\partial_j\partial_i f$。交換步驟，則把同一個商表示為另一點的 $\partial_i\partial_j f$。兩點都趨於 $a$；二階偏導數連續，故在 $a$ 處相等。對角元不需比較。

C2 積分餘項與局部 Peano 估計

設 $n\ge1$，$U\subset\mathbb R^n$ 為開集，$f:U\to\mathbb R$ 屬 $C^2$。其 Hessian 矩陣為 $H_f=(\partial_i\partial_jf)_{i,j}$。

對整條線段 $[a,a+h]$ 位於 $U$ 內的固定 $h$，令 $\phi(t)=f(a+th)$。鏈式法則給出 $\phi'(0)=Df(a)h$、$\phi''(t)=h^TH_f(a+th)h$。一元分部積分得到

$$\int_0^1(1-t)\phi''(t)\,dt=[(1-t)\phi'(t)]_0^1+\int_0^1\phi'(t)\,dt=-\phi'(0)+\phi(1)-\phi(0).$$

因此精確的線段恆等式為

$$f(a+h)=f(a)+Df(a)h+\int_0^1(1-t)h^TH_f(a+th)h\,dt.$$

對局部結論，讓 $h\to0$，並使相應線段留在以 $a$ 為中心、包含於 $U$ 的固定球內。在積分中減去 $H_f(a)$，得到二次餘項

$$R_2(h)=\int_0^1(1-t)h^T[H_f(a+th)-H_f(a)]h\,dt,$$ $$|R_2(h)|\le\frac12\|h\|^2\sup_{0\le t\le1}\|H_f(a+th)-H_f(a)\|_{\rm op}=o(\|h\|^2).$$

由於線段上每點與 $a$ 的距離至多為 $\|h\|$，在 $a$ 處的連續性使上確界趨零。於是

$$f(a+h)=f(a)+\nabla f(a)\cdot h+\tfrac12h^TH_f(a)h+o(\|h\|^2).$$

此證明需要 C2 而非 C3。另外，若某條固定整線段上有 $\|H_f(x)\|_{\rm op}\le M$，則一階餘項以 $M\|h\|^2/2$ 為界；僅在 $a$ 處有界不足以支持該線段估計。

2 局部極值與強制性二次項

二階分類定理。 設 $n\ge1$，$a$ 為開定義域的內部點，實標量函數 $f$ 在 $a$ 附近屬 C2。以下充分分類全部假設駐點條件 $\nabla f(a)=0$。若 $H_f(a)$ 正定，則 $a$ 為嚴格局部最小值點；若負定，則為嚴格局部最大值點。若二次型同時具有正方向和負方向，則每個鄰域都包含函數值高於和低於 $f(a)$ 的點。

證明。 在正定情形，連續二次型在緊單位球面上有正的最小值 $\mu$。由齊次性，對每個 $h$ 有 $h^TH_f(a)h\ge\mu\|h\|^2$。駐點條件消去線性項，所以 Taylor 公式給出

$$f(a+h)-f(a)=\tfrac12h^TH_f(a)h+R_2(h)\ge\frac\mu4\|h\|^2>0$$

對充分小的非零 $h$ 成立，因為此時 $|R_2(h)|\le\mu\|h\|^2/4$。對 $-f$ 使用同一論證，得到負定情形。對具有相反二次符號的固定方向 $v_+,v_-$，分別代入 $h=tv_+$、$h=tv_-$；除以 $t^2$ 後餘項趨零，因此充分小的非零 $t$ 給出相應的正、負函數增量。這證明第三個結論。

在可微的內部局部極值點，限制到各坐標直線，雙側導數符號檢驗給出 $\nabla f(a)=0$。在 C2 局部最小值點，Hessian 必半正定，因為對每個 $v$，

$$v^TH_f(a)v=\lim_{t\to0}\frac{f(a+tv)+f(a-tv)-2f(a)}{t^2}\ge0.$$

局部最大值時得到反向不等式。僅有半定 Hessian，不能判斷嚴格性，甚至不能判斷極值是否存在。充分定理中的駐點條件同樣不可刪去：$f(x)=x+x^2$ 滿足 $f''(0)=2>0$，但 $f'(0)=1$，零點不是局部最小值點。這反駁的是缺少假設的說法，而非剛證明的定理。

例。 在原點，

$$f(x,y)=x^2+2xy+3y^2+x^3$$

的梯度為零，Hessian 矩陣為 $\begin{pmatrix}2&2\\2&6\end{pmatrix}$。二次部分為 $(x+y)^2+2y^2$，在非零點為正，故原點是嚴格局部最小值。它不是整個 $\mathbb R^2$ 上的全局最小值：沿 $y=0$，當 $x\to-\infty$ 時 $x^2+x^3\to-\infty$。不能把局部泰勒信息提升為未經證明的全局結論。

3 凸性與支撐平面

凸集 $U$ 上的函數稱為凸函數，如果

$$f((1-t)x+ty)\le(1-t)f(x)+tf(y),\qquad0\le t\le1.$$

在開凸集上可微時，凸性等價於支撐平面不等式

$$f(y)\ge f(x)+\nabla f(x)\cdot(y-x).$$

證明。 凸性給出 $[f(x+t(y-x))-f(x)]/t$ 的上界 $f(y)-f(x)$；令 $t\downarrow0$ 即得。反之，令 $z=(1-t)x+ty$，在 $z$ 處分別對 $x$ 和 $y$ 應用支撐不等式。分別乘以 $1-t$、$t$ 並相加，導數項相消。$\square$

對於開凸集上的 $C^2$ 函數，凸性等價於處處 $H_f(x)$ 半正定。限制到每條直線，二階導數為 $v^TH_fv$。非負二階導數使直線限制為凸函數；反方向可由凸函數的直線限制的二階差分得到。

因此可微凸函數的每個駐點都是全局最小值點。處處正定的 Hessian 蘊含嚴格凸性和至多一個最小值點，但不保證最小值存在：$e^x$ 在 $\mathbb R$ 上嚴格凸，卻沒有最小值。若對於某個固定的 $\mu>0$ 有 $H_f\succeq\mu I$，則積分餘項給出更強的不等式

$$f(y)\ge f(x)+\nabla f(x)\cdot(y-x)+\frac\mu2\|y-x\|^2$$

這稱為強凸性，不只是嚴格凸性。

練習與完整解答

E1 基礎。 求 $e^{x+y}$ 在原點的二階泰勒多項式，並在 $|x+y|\le r$ 時以某個常數乘 $|x+y|^3$ 估計誤差。

S1. 令 $s=x+y$，多項式為 $1+s+s^2/2$。當 $|s|\le r$ 時，一元 Lagrange 餘項的絕對值至多為 $e^r|s|^3/6$。

E2 凸性。 證明 $f(x,y)=x^2+xy+y^2$ 強凸，並給出一個有效的 $\mu$。

S2. Hessian 矩陣為 $\begin{pmatrix}2&1\\1&2\end{pmatrix}$，特徵值為 1 和 3。因此 $v^THv\ge\|v\|^2$，故可取 $\mu=1$。

E3 反例。 判斷 $x^4$ 是否嚴格凸、是否在 $\mathbb R$ 上具有正的一致常數而強凸，以及其在零處的 Hessian 是否能決定嚴格最小值。

S3. 導數 $4x^3$ 嚴格遞增，故函數嚴格凸。它不可能以 $\mu>0$ 強凸，因為 $f''(0)=0$。零 Hessian 不能決定嚴格性；明確的非負四次方證明零處是嚴格全局最小值。

E4 應用。 求並證明 $f(x,y)=x^2+xy+y^2-3x$ 的全局最小值。

S4. 駐點條件給出 $2x+y=3$ 和 $x+2y=0$，故 $(x,y)=(2,-1)$，函數值為 $-3$。Hessian 矩陣與 E2 中相同且正定。強凸性使此點成為唯一全局最小值點。也可平移該點，得到正的二次增量 $h^2+hk+k^2$。

總結

泰勒公式通過受控餘項定量描述局部近似。定號二次項可分類局部駐點。凸性額外提供全局支撐不等式；嚴格性、強凸性與最小值的存在是不同的性質。