泰勒近似、極值與 Lagrange 乘數

工程最優解必須滿足物理約束，而不只是導數方程。駐點可以是最大值、最小值或鞍點，實際最優解也可能在邊界上。泰勒展開分類局部行為；緊性和邊界分析確立全局結果。

1 二階近似

對 $a\in\mathbb R^n$ 的鄰域上的 $C^2$ 函數，

$$f(a+h)=f(a)+\nabla f(a)\cdot h+\tfrac12h^TH_f(a)h+o(\|h\|^2).$$

為證明它，對 $\phi(t)=f(a+th)$ 使用一元微積分。兩次積分導數得到餘項 $\int_0^1(1-t)h^TH_f(a+th)hdt$。由連續性，將 Hessian 矩陣換成其在 $a$ 處的值產生 $o(\|h\|^2)$。該論證要求短線段留在定義域內。

在內部可微局部極值點，梯度為零：限制到每條坐標直線並使用一元必要條件。在二維駐點處，記 $D=f_{xx}f_{yy}-f_{xy}^2$。若 $D>0$ 且 $f_{xx}>0$，Hessian 二次型正定，得到嚴格局部最小值；若 $D>0$ 且 $f_{xx}<0$，得到嚴格局部最大值。若 $D<0$，存在正負兩個方向，是鞍點。若 $D=0$，檢驗不能判定。

正定情形的證明。 配方使二次型在每個非零向量上為正；它在單位圓上的最小值為某個 $\mu>0$。對充分小的 $h$，泰勒誤差的絕對值小於 $\mu\|h\|^2/4$，小於正二次項的一半。因此函數在每個非零小位移下增大。另一個定號情形可取負得到；正負方向證明鞍點情形。$\square$

2 閉區域上的全局優化

非空緊集上的連續函數取得最大值和最小值。要在平面區域中求它們，可收集內部駐點、通過參數化或約束得到的邊界駐點，以及角點或奇異邊界點，再比較實際函數值。

圓盤例。 在 $x^2+y^2\le1$ 上優化 $f(x,y)=x^2+y^2-x$。唯一內部駐點是 $(1/2,0)$，函數值為 $-1/4$。其 Hessian 矩陣為 $2I$，故是嚴格局部最小值。在邊界上 $f=1-x$，其中 $-1\le x\le1$，故範圍為 0 到 2。因此全局最小值為 $(1/2,0)$ 處的 $-1/4$，全局最大值為 $(-1,0)$ 處的 2。邊界分析不可省略：無約束函數在整個平面上沒有全局最大值。

也可由 $f=(x-1/2)^2+y^2-1/4$ 直接證明同一最小值。第二個獨立論證常是優化代數的有用檢驗。

3 等式約束與正則性

Lagrange 乘數條件。 假設 $f,g$ 在 $a$ 附近為 $C^1$，$g(a)=c$ 且 $\nabla g(a)\ne0$。若限制在 $g=c$ 上的 $f$ 在該點取得局部極值，則存在實數 $\lambda$ 使 $\nabla f(a)=\lambda\nabla g(a)$。

對平面曲線，隱函數定理給出局部參數化圖像。其切向量恰是與 $\nabla g$ 垂直的方向。沿圖像對 $f$ 求導，說明 $\nabla f$ 也與這些切方向垂直，因此屬於 $\nabla g$ 的一維法向張成空間，條件得證。高維正則約束使用相應的切空間論證。

橢圓例。 在 $x^2+4y^2=4$ 上優化 $xy$。約束集緊且正則。乘數方程是 $y=2\lambda x$ 和 $x=8\lambda y$。駐點解的兩個坐標均不能為零：一個為零將迫使另一個也為零，違反約束。因此 $16\lambda^2=1$ 且 $x=\pm2y$。約束給出 $x=\pm\sqrt2$、$y=\pm1/\sqrt2$。同號給出最大值 1，異號給出最小值 $-1$。

可用 $(x-2y)^2\ge0$ 和 $(x+2y)^2\ge0$ 檢驗：在橢圓上它們蘊含 $-1\le xy\le1$。Lagrange 方程是必要條件，單獨使用並不充分。如果約束梯度為零或出現角點，定理給出的候選列表不完整，必須另行檢查這些點。

恰在 $C^2$ 假設下的完整二階估計

設實函數 $f$ 在 $a\in\mathbb R^n$ 的開鄰域上為 $C^2$。取 $r>0$ 使半徑為 $r$ 的閉球位於其中。對 $\|h\|<r$，令 $\phi(t)=f(a+th)$，$0\le t\le1$。鏈式法則給出 $\phi''(t)=h^TH_f(a+th)h$。分部積分，或對 $(1-t)\phi'(t)$ 使用微積分基本定理，得到

$$f(a+h)-f(a)-Df(a)h=\int_0^1(1-t)h^TH_f(a+th)h\,dt.$$

減去 $\tfrac12h^TH_f(a)h$ 後，剩餘項 $R(h)$ 滿足

$$|R(h)|\le\frac{\|h\|^2}{2}\sup_{0\le t\le1}\|H_f(a+th)-H_f(a)\|_{\rm op}.$$

因對所有 $t$ 均有 $\|th\|\le\|h\|$，在 $a$ 的連續性使這個上確界趨於零。因此 $R(h)=o(\|h\|^2)$，無需三階導數。若線段上 $\|H_f\|_{\rm op}\le M$，第一個等式還給出一階誤差界 $M\|h\|^2/2$。

為完整起見，Hessian 的對稱性可直接由 $C^2$ 推出。固定不同坐標 $i,j$，作矩形差分

$$D(h,k)=f(a+he_i+ke_j)-f(a+he_i)-f(a+ke_j)+f(a).$$

先對坐標 $i$、再對 $j$ 使用一元微積分基本定理，將 $D(h,k)$ 表為 $\partial_j\partial_i f$ 在該矩形上的累次積分。按相反次序進行同樣論證，則同一個差分是 $\partial_i\partial_j f$ 的累次積分。對非零 $h,k$ 除以 $hk$；連續性使各自的平均值趨於 $a$ 處相應的混合偏導數，所以二者相等。這裏比較的是同一個有限差分的兩次計算，沒有預先假設積分可交換。

任意有限維數下單個約束條件的完整證明

下面的局部逆與隱函數證明給出所需的一般維數存在性結論；隨後的乘數論證只用它的標量隱函數情形。相關向量空間均為實有限維空間，鄰域均為開集。

學習目標與設定

證明局部可逆性，而不只對形式上假定存在的逆映射求導。全程使用歐幾里得範數及其誘導的算子範數。設 $U\subseteq\mathbb R^n$ 為開集，$F:U\to\mathbb R^n$ 為 $C^1$，$a\in U$，$b=F(a)$，且 $A=DF(a)$ 可逆。我們將證明存在 $a$ 的開鄰域 $W$ 和 $b$ 的開鄰域 $V$，使 $F:W\to V$ 成為一個 $C^1$ 雙射，其逆映射的導數等於 $[DF]^{-1}$。

引理：閉球上的壓縮映射

若映射 $T$ 將非空歐幾里得閉球 $B$ 映入自身，並且對固定的 $0\le q<1$ 滿足 $\|T(x)-T(y)\|\le q\|x-y\|$，那麼它在 $B$ 中有唯一不動點。

證明。 從任意 $x_0\in B$ 出發，定義 $x_{k+1}=T(x_k)$。若 $q=0$，不等式使 $T$ 為常值映射，其值是第一次迭代即達到的唯一不動點。對 $0<q<1$，反覆應用壓縮條件得到 $\|x_{k+1}-x_k\|\le q^k\|x_1-x_0\|$。對於 $m>k$，對連續差求和得到 $\|x_m-x_k\|$ 的上界 $q^k\|x_1-x_0\|/(1-q)$，所以該數列是柯西列。逐坐標的實數完備性給出 $\mathbb R^n$ 中的極限，而閉性使極限留在 $B$ 中。壓縮條件蘊含連續性，所以對 $x_{k+1}=T(x_k)$ 取極限可知極限為不動點。兩個不動點之間的距離至多為該距離的 $q$ 倍，只能為零。這一證明也給出到極限的所述幾何誤差界。

局部逆的存在性與唯一性

由 $DF$ 的連續性，可以選擇 $r>0$，使閉球 $B=\overline B(a,r)\subset U$ 且

$$\|I-A^{-1}DF(y)\|\le q=\frac12\quad\text{for all }y\in B.$$

對靠近 $b$ 的目標點 $x$，令 $T_x(y)=y-A^{-1}(F(y)-x)$。它在凸球上的導數範數至多為 $q$。沿線段應用一元微積分基本定理，得到 $\|T_x(y)-T_x(z)\|\le q\|y-z\|$。此外，

$$\|T_x(y)-a\|\le q\|y-a\|+\|A^{-1}(x-b)\|.$$

選取 $V=B(b,\rho)$，其中 $\rho=(1-q)r/(2\|A^{-1}\|)$。當 $x\in V$ 時，第二項小於 $(1-q)r/2$，故 $T_x$ 將 $B$ 映入自身。引理給出唯一的 $y=H(x)\in B$，滿足 $F(y)=x$。在 $a$ 處的不動點估計給出

$$\|H(x)-a\|\le\frac{\|A^{-1}(x-b)\|}{1-q}<r/2,$$

所以這些解均為內點。令 $W=B(a,r)\cap F^{-1}(V)$。它是開集，包含 $a$，且 $F:W\to V$ 為雙射，因為即使在更大的閉球上解也唯一。

逆映射的連續性與可微性

對 $x,z\in V$ 比較不動點方程：

$$\|H(x)-H(z)\|\le q\|H(x)-H(z)\|+\|A^{-1}\|\|x-z\|.$$

因此 $H$ 是 Lipschitz 映射，常數為 $\|A^{-1}\|/(1-q)$。對 $y\in B$，矩陣 $A^{-1}DF(y)=I-E$ 滿足 $\|E\|\le q<1$。收斂的矩陣級數 $\sum_{k=0}^{\infty}E^k$ 是其逆：有限部分和相乘得到 $I-E^{N+1}$，它趨於 $I$。故 $DF(y)$ 在整個 $B$ 上可逆。

固定 $x\in V$，令 $y=H(x)$，並取充分小的增量 $k$，使 $x+k\in V$。設 $h=H(x+k)-H(x)$。由 $F$ 的可微性，$k=DF(y)h+o(\|h\|)$。Lipschitz 估計給出 $\|h\|=O(\|k\|)$，因此解得

$$h=[DF(y)]^{-1}k+o(\|k\|).$$

所以 $DH(x)=[DF(H(x))]^{-1}$。逆矩陣連續變化：伴隨矩陣除以行列式的公式在行列式非零處連續。結合 $DF$ 和 $H$ 的連續性，證明 $H$ 是 $C^1$。定理現已證明，包括存在性、唯一性、鄰域與正則性。

隱函數作為推論

設 $G:\mathbb R^{p+m}\supset U\to\mathbb R^m$ 為 $C^1$，$G(a,c)=0$，且 $D_yG(a,c)$ 可逆。定義 $\Phi(x,y)=(x,G(x,y))$。其分塊導數為

$$D\Phi=\begin{pmatrix}I&0\\D_xG&D_yG\end{pmatrix},$$

它在 $(a,c)$ 處可逆。已證明的逆函數定理給出局部 $C^1$ 逆映射。將鄰域縮小為乘積鄰域，使求解 $\Phi(x,y)=(x,0)$ 定義唯一的 $y=\varphi(x)$，並包含該乘積鄰域內每一個零點。存在性成立後，對恆等式求導得到

$$D\varphi(x)=-[D_yG(x,\varphi(x))]^{-1}D_xG(x,\varphi(x)).$$

解矩陣方程確定了因子的次序，不能顛倒。

局部存在成立後推導乘數

重新排列坐標，將 $a$ 寫作 $(a',a_n)$，使 $g_{x_n}(a)\ne0$。對 $n\ge2$，將剛證明的標量隱函數定理用於 $g(x',y)-c$。在 $a$ 附近，可行集恰為 $y=\varphi(x')$，且 $\varphi_{x_j}=-g_{x_j}/g_{x_n}$。限制函數 $x'\mapsto f(x',\varphi(x'))$ 在內點 $a'$ 取得局部極值，所以對每個 $j<n$，

$$0=f_{x_j}(a)+f_{x_n}(a)\varphi_{x_j}(a') =f_{x_j}(a)-\frac{f_{x_n}(a)}{g_{x_n}(a)}g_{x_j}(a).$$

令 $\lambda=f_{x_n}(a)/g_{x_n}(a)$。這些等式給出 $\nabla f=\lambda\nabla g$ 的前 $n-1$ 個分量，最後一個分量來自 $\lambda$ 的定義。若 $n=1$，單憑這個定義便證明結論。這就對每個有限維數中的單個正則標量約束證明了所述必要條件。它不適用於 $\nabla g=0$，也不是充分條件或關於多個相依約束的定理。

4 分級練習

E1 基礎。 分類 $f(x,y)=x^2-2xy+3y^2-4x$ 的駐點。

E2 邊界。 求 $f(x,y)=x+y$ 在 $x,y\ge0$、$x+y\le3$ 上的最大值和最小值。

E3 約束。 在 $xy=4$、$x,y>0$ 下最小化 $x^2+y^2$。是否存在最大值？

E4 退化性。 比較 $x^4+y^4$、$x^4-y^4$ 和 $-x^4-y^4$ 在原點的情況。Hessian 檢驗能說甚麼？

5 完整解答

S1. 駐點條件給出 $2x-2y=4$、$-2x+6y=0$，故點為 $(3,1)$。Hessian 矩陣 $\begin{pmatrix}2&-2\\-2&6\end{pmatrix}$ 的行列式為 8，首項為正，因此該點是嚴格局部最小值。平移得 $f(3+h,1+k)=-6+h^2-2hk+3k^2$，證明它是唯一全局最小值點，值為 $-6$。

S2. 目標函數本身介於 0 和 3 之間。最小值 0 在 $(0,0)$ 處取得；最大值 3 沿整條邊 $x+y=3$ 取得，而不只是端點。邊界最優解不必唯一，也不必是整個平面內的駐點。

S3. $(x-y)^2\ge0$ 給出 $x^2+y^2\ge2xy=8$，在 $(2,2)$ 處等號成立，證明全局最小值。沒有最大值：當 $x\to\infty$ 時，$y=4/x$ 仍可行，而 $x^2+16/x^2\to\infty$。可行集不緊。

S4. 三者在零處梯度和 Hessian 均為零，因此二階導數檢驗不能判定。直接比較符號分別得到嚴格全局最小值、鞍點和嚴格全局最大值。高階項決定這些情況。

總結

泰勒二次項分類非退化駐點。全局優化需要完整分析可行候選點，包括邊界和例外點。Lagrange 乘數編碼正則約束方向，但不能省去存在性、可行性和最優性充分條件的檢查。