多變量成本與約束選擇

兩種產品的模型需要兩個邊際變化率。保持另一產量不變而改變一個，與沿生產約束同時改變兩者不同。偏導數描述坐標變化；全導數將它們組合；約束優化限制可行變化。

1 偏導數與全導數

定義

一點處的偏導數

設 $U\subseteq\mathbb R^n$ 為開集，$f:U\to\mathbb R$，且 $a\in U$。若有限極限

$$\partial_i f(a)=\lim_{t\to0}\frac{f(a+t e_i)-f(a)}{t}$$

存在，就稱它為 $f$ 在 $a$ 處對第 $i$ 個變量的偏導數，也記為 $\frac{\partial f}{\partial x_i}(a)$。二元函數中通常寫成 $f_x$ 和 $f_y$。

定義

梯度、重複偏導數與光滑性

當全部一階偏導數在 $a$ 處存在時，定義梯度

$$\nabla f(a)=\bigl(\partial_1f(a),\ldots,\partial_nf(a)\bigr).$$

本節採用 $f_{xy}=\partial_y(f_x)$ 的約定，即先對 $x$ 求導，再對 $y$ 求導。若函數在開集上所有不超過 $r$ 階的偏導數都存在且連續，就稱它屬於 $C^r$ 類。

定理

偏導數的代數運算法則

若 $f,g$ 在 $a$ 處都有第 $i$ 個偏導數，則

$$\partial_i(f+g)(a)=\partial_if(a)+\partial_ig(a),$$$$\partial_i(fg)(a)=g(a)\partial_if(a)+f(a)\partial_ig(a).$$

若另有 $g(a)\ne0$，則沿該座標直線在 $a$ 附近商有定義，並且

$$\partial_i(f/g)(a) =\frac{g(a)\partial_if(a)-f(a)\partial_ig(a)}{g(a)^2}.$$

定義

帶有線性餘項的可微性

設 $U\subseteq\mathbb R^n$ 是開集，$F:U\to\mathbb R^m$。若存在一個線性映射 $A:\mathbb R^n\to\mathbb R^m$，使

$$F(a+h)=F(a)+Ah+R(h), \qquad \lim_{h\to0,\ h\ne0}\frac{\|R(h)\|}{\|h\|}=0,$$

就稱 $F$ 在 $a\in U$ 處可微。這個映射稱為導數，記為 $DF(a)$。簡寫 $R(h)=o(\|h\|)$ 表示上述餘項極限成立。

定義

線性近似與全微分

$F$ 在 $a$ 處的線性近似是仿射函數

$$L_a(x)=F(a)+DF(a)(x-a).$$

對於實值可微函數，

$$DF(a)h=\sum_{i=1}^n\partial_if(a)h_i=\nabla f(a)\cdot h.$$

一階預測變化稱為全微分：

$$df_a=\sum_{i=1}^n\partial_if(a)\,dx_i.$$

定理

導數的必要結果與唯一性

若 $F$ 在 $a$ 處可微，則它在該點連續；各座標偏導數存在，並等於 $DF(a)$ 的相應欄。滿足可微性定義的線性映射是唯一的。

證明

連續性、座標導數與唯一性

有限維歐幾里得空間上的線性映射滿足 $\|Ah\|\le C\|h\|$，其中 $C$ 為某個常數。於是

$$\|F(a+h)-F(a)\|\le C\|h\|+\|R(h)\|\longrightarrow0.$$

因此 $F$ 在 $a$ 處連續。再令 $h=te_i$，把展開式除以 $t$，餘項除以 $t$ 後趨於零，所得座標偏導數就是 $Ae_i$。

若 $A,B$ 都滿足定義，相減得 $(A-B)h=o(\|h\|)$。依次取 $h=te_i$，可得 $(A-B)e_i=0$。線性映射由它在基向量上的取值唯一確定，所以 $A=B$。

定理

連續一階偏導數是充分條件

設 $f$ 定義在開集 $U$ 上。若各一階偏導數在 $a$ 的某個鄰域內存在，並在 $a$ 處連續，則 $f$ 在 $a$ 處可微。特別地，開集上的 $C^1$ 函數處處可微。向量值函數可以逐分量應用同一結論。

證明

連續偏導數為何控制所有方向

對二元函數，把總變化拆成兩次座標變化：

$$f(a+h,b+k)-f(a,b) =[f(a+h,b+k)-f(a,b+k)] +[f(a,b+k)-f(a,b)].$$

分別使用一元平均值定理，得到某些中間座標 $\xi,\eta$，使總變化等於

$$f_x(\xi,b+k)h+f_y(a,\eta)k.$$

減去候選線性變化 $f_x(a,b)h+f_y(a,b)k$，再除以 $\sqrt{h^2+k^2}$。由於 $|h|,|k|$ 都不超過這個範數，餘項比值至多為

$$|f_x(\xi,b+k)-f_x(a,b)|+ |f_y(a,\eta)-f_y(a,b)|.$$

中間點隨 $(h,k)\to(0,0)$ 趨於 $(a,b)$，因此兩個差都由連續性趨於零。某個座標增量為零時，直接省去對應變化即可。更高維情形沿各座標方向依次作同樣的拆分。

例題

連續且有偏導數，仍不可微

定義

$$g(x,y)= \begin{cases} \dfrac{xy}{\sqrt{x^2+y^2}},&(x,y)\ne(0,0),\\ 0,&(x,y)=(0,0). \end{cases}$$

由 $|xy|\le(x^2+y^2)/2$，可得 $|g(x,y)|\le\sqrt{x^2+y^2}/2$，所以原點處連續。兩條座標限制恆為零，兩個一階偏導數也都是零。

若導數存在，座標偏導數會迫使它為零映射，此時餘項就是函數本身。然而沿 $(x,y)=(t,t)$，

$$\frac{|g(t,t)|}{\sqrt{t^2+t^2}}=\frac12$$

對每個非零 $t$ 都成立。餘項沒有比位移長度小一個階，故原點處不可微。這個例子同時保留連續性與偏導數存在，因而準確指出缺少的是統一的一階近似。

定義

指定方向上的導數

設 $f$ 定義在 $a\in\mathbb R^n$ 的開鄰域內，$u$ 是單位向量。若有限雙側極限

$$D_uf(a)=\lim_{t\to0}\frac{f(a+tu)-f(a)}{t}$$

存在，就稱它為沿 $u$ 的方向導數。因為 $\|u\|=1$，參數 $t$ 表示沿該直線的帶符號距離。

定理

矩陣形式的鏈式法則

設 $F:U\subseteq\mathbb R^n\to\mathbb R^m$ 在 $a$ 處可微，$G:V\subseteq\mathbb R^m\to\mathbb R^p$ 在 $F(a)$ 處可微。假設 $U,V$ 為開集，且複合函數在 $a$ 附近有定義，則

$$D(G\circ F)(a)=DG(F(a))\,DF(a).$$

矩陣維數為 $(p\times m)(m\times n)=p\times n$。

證明

把兩個線性近似連接起來

令 $A=DF(a)$、$b=F(a)$、$B=DG(b)$。對小位移，

$$F(a+h)=b+Ah+r(h),\qquad r(h)=o(\|h\|).$$

記 $\Delta=Ah+r(h)$。外層展開為

$$G(b+\Delta)=G(b)+B\Delta+s(\Delta), \qquad s(\Delta)=o(\|\Delta\|).$$

代入後，一階項為 $BAh$，餘項為 $Br(h)+s(\Delta)$。由線性映射的範數上界，充分小的 $h$ 滿足 $\|\Delta\|\le C\|h\|$。所以 $Br(h)=o(\|h\|)$，外層餘項估計也推出 $s(\Delta)=o(\|h\|)$；若 $\Delta=0$，該餘項直接等於零。因此複合函數具有導數 $BA$。

定理

曲線變化率與梯度

若 $f$ 在 $a=\gamma(t_0)$ 處可微，且 $\gamma$ 在 $t_0$ 處可微，則

$$(f\circ\gamma)'(t_0)=\nabla f(a)\cdot\gamma'(t_0).$$

特別地，對單位向量 $u$，

$$D_uf(a)=\nabla f(a)\cdot u.$$

若 $\nabla f(a)\ne0$，最大的單位方向變化率為 $\|\nabla f(a)\|$，在方向 $\nabla f(a)/\|\nabla f(a)\|$ 取得；最小值為其相反數，在反方向取得。

對單位方向 $v$，方嚮導數為 $\nabla f\cdot v$。由柯西–施瓦茨不等式，它至多為 $\|\nabla f\|$，當梯度非零時在梯度方向取到。若問每單位距離的變化，方向必須單位化。

單位方向與最速變化率：證明

設 $U\subseteq\mathbb R^n$ 為開集，$a\in U$，實函數 $f:U\to\mathbb R$ 在 $a$ 可微，記 $g=\nabla f(a)$。對實單位向量 $v$，可微性給出 $f(a+tv)-f(a)=t(g\cdot v)+o(|t|)$，所以 $D_vf(a)=g\cdot v$。

所需的柯西–施瓦茨界直接來自平方非負：

$$0\le\|g-(g\cdot v)v\|^2=\|g\|^2-(g\cdot v)^2.$$

因此 $|D_vf(a)|\le\|g\|$；當且僅當 $g$ 是 $v$ 的標量倍數時取等號。若 $g\ne0$，最大值為 $\|g\|$，在 $v=g/\|g\|$ 取到；相反單位方向取得最小值 $-\|g\|$。若 $g=0$，每個單位方向的變化率均為零，沒有唯一的最速方向。對非零 $w$，每單位距離的變化須使用 $v=w/\|w\|$；未歸一化的 $g\cdot w$ 是每單位路徑參數的變化率，會隨路徑速度縮放。

2 曲率與無約束極值

對二階連續可微函數 $f$，Hessian 矩陣為

$$H_f=\begin{pmatrix}f_{xx}&f_{xy}\\f_{yx}&f_{yy}\end{pmatrix}.$$

在駐點 $a$，二階展開為 $f(a+h)=f(a)+\tfrac12h^TH_f(a)h+o(\|h\|^2)$。Hessian 正定給出嚴格局部最小值，負定給出嚴格局部最大值，不定給出鞍點。半定情形需要進一步分析：$x^4+y^4$ 與 $x^4-y^4$ 在零有相同的零 Hessian，但行為不同。

對稱 $2\times2$ 矩陣若左上元素和行列式均為正，則正定。配方可證明：$ax^2+2bxy+cy^2=a(x+by/a)^2+(ac-b^2)y^2/a$。

3 產品組合例子

考慮虛構的利潤模型

$$\Pi(x,y)=20x+16y-x^2-xy-y^2,\qquad x,y\ge0.$$

駐點條件給出 $2x+y=20$、$x+2y=16$，故 $(x,y)=(8,4)$。Hessian 為 $\begin{pmatrix}-2&-1\\-1&-2\end{pmatrix}$。更強的是在 $(8,4)$ 附近展開得

$$\Pi(8+h,4+k)=112-(h^2+hk+k^2).$$

由於 $h^2+hk+k^2=(h+k/2)^2+3k^2/4>0$ 在零以外成立，即使不限制非負定義域，它也是唯一全局最大點；該點可行，所以也解決所述約束問題。

現在加入 $x+y=10$。以 $y=10-x$ 代入並取 $0\le x\le10$，得 $\Pi=60+14x-x^2$，最大值出現在 $x=7$、$y=3$，值為 109。等式約束改變了最優點。

另一方法是：在正則的內部約束最優點，對 $g=x+y-10$ 有 $\nabla\Pi=\lambda\nabla g$。因為每個滿足 $\nabla g\cdot v=0$ 的切向量 $v$ 都必須滿足 $\nabla\Pi\cdot v=0$，故兩梯度平行。這是必要條件，不保證最大值。若有不等式或邊界角點，代入並明確檢查邊界可能比無條件使用乘子更簡單。

4 分層練習

E1 基礎。 對 $C(x,y)=x^2+2xy+3y^2$，求梯度和 Hessian，估計從 $(1,2)$ 到 $(1.01,1.98)$ 的變化。

E2 鏈式法則。 若 $f(x,y)=xe^y$、$x(t)=t^2$、$y(t)=t$，用兩種方法計算 $d f(x(t),y(t))/dt$。

E3 約束。 在 $x+y=12$、$x,y\ge0$ 下最大化 $xy$。解釋為甚麼只檢查 $\nabla(xy)=0$ 不夠。

E4 曲率。 對 $x^2-y^2$ 和 $x^2+2xy+y^2$，分別分類原點。

5 詳解

S1. $\nabla C=(2x+2y,2x+6y)$，故 $\nabla C(1,2)=(6,14)$。Hessian 為 $\begin{pmatrix}2&2\\2&6\end{pmatrix}$。線性估計為 $6(0.01)+14(-0.02)=-0.22$；精確變化還加上 $h^2+2hk+3k^2=0.0009$，故為 $-0.2191$。

S2. 複合得到 $t^2e^t$，其導數為 $2te^t+t^2e^t$。鏈式法則給出 $e^t(2t)+t^2e^t(1)$，結果相同。

S3. 代入 $y=12-x$，得 $xy=36-(x-6)^2$。唯一最大值為 36，在 $(6,6)$ 取得；端點給零。無約束梯度 $(y,x)$ 僅在 $(0,0)$ 為零，但該點不可行。約束問題由可行方向而非平面所有方向控制。

S4. $x^2-y^2$ 在任意接近零的地方都取正、負值，故原點是鞍點。$(x+y)^2$ 非負，所以原點是全局但非嚴格最小點；$y=-x$ 上每點都有相同值。半定 Hessian 不給出嚴格最小值。

總結

偏導數衡量坐標效應，可微性保證它們可合為線性近似。Hessian 分析曲率，約束限制可行方向。完整應用應檢查可行性、邊界與充分的最優性證據，而不是停在駐點方程。