偏導數與局部模型

藉助矩陣記號，我們先區分座標偏導數與整體的線性近似，再運用鏈式法則，最後討論具體應用。

這裏 $e_i$ 表示第 $i$ 個分量為 $1$、其餘分量為 $0$ 的標準基向量；歐幾里得範數以及保持加法和純量倍乘的線性映射是本篇先修，可參閱向量與範數及線性映射與線性近似。

矩陣記號與乘法

定義

矩陣乘積何時有定義

若 $A$ 是 $m \times n$ 矩陣，$B$ 是 $n \times p$ 矩陣，則乘積 $AB$ 有定義，且結果是 $m \times p$ 矩陣。

若 $A$ 的欄數不等於 $B$ 的行數，則 $AB$ 未定義。

定義

矩陣乘法

設 $A = [a_{ij}]$ 是 $m \times n$ 矩陣，$B = [b_{jk}]$ 是 $n \times p$ 矩陣。

則 $AB$ 的 $(i,k)$ 元素為

$$(AB)_{ik} = a_{i1}b_{1k} + a_{i2}b_{2k} + \cdots + a_{in}b_{nk}.$$

也就是說，輸出中的一個元素，是 $A$ 的第 $i$ 行與 $B$ 的第 $k$ 欄按位相 乘後再相加。

單位矩陣是刻意「甚麼也不改變」的矩陣

定義

單位矩陣

對每個正整數 $n$，$I_n$ 表示 $n \times n$ 單位矩陣：主對角線上全是 $1$， 其餘位置全是 $0$。

例如

$$I_2 = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, \qquad I_3 = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}.$$

單位矩陣之所以重要，是因為它對任何大小相容的矩陣都不起改變作用：

$$AI_n = A, \qquad I_m A = A.$$

例題

為甚麼乘上單位矩陣不會改變矩陣

若

$$A = \begin{bmatrix} 2 & -1 \\ 4 & 3 \end{bmatrix},$$

則

$$AI_2 = \begin{bmatrix} 2 & -1 \\ 4 & 3 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} 2 & -1 \\ 4 & 3 \end{bmatrix}.$$

因為 $I_2$ 的第一欄會抽出 $A$ 的第一欄，第二欄會抽出 $A$ 的第二欄。

反例模式

大小相容並不保證交換

「任意兩個同樣大小的方陣都滿足 $AB=BA$」是錯誤命題，即使兩種次序的乘積都有定義且大小相同。取

$$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\qquad B=\begin{bmatrix}0&0\\0&1\end{bmatrix}.$$

兩者都是 $2\times2$ 實矩陣，滿足所提命題的假設。直接按行乘欄計算，得到

$$AB=\begin{bmatrix}0&2\\0&4\end{bmatrix},\qquad BA=\begin{bmatrix}0&0\\3&4\end{bmatrix}.$$

例如，$(AB)_{12}=1\cdot0+2\cdot1=2$，但 $(BA)_{12}=0\cdot2+0\cdot4=0$。只要一對對應元素不同，就足以證明 $AB\ne BA$。失敗的結構原因是：右乘這個 $B$ 會保留第二欄、把第一欄歸零；左乘它則保留第二行、把第一行歸零。

一個正確的修訂是：方陣與同樣大小的單位矩陣的任意純量倍都可交換。事實上，若 $B=cI$，則 $AB=A(cI)=cA=(cI)A=BA$。對於任意方陣，交換性需要另行論證；大小相容只保證乘法有定義，並不保證因子可以調換。

矩陣乘法其實表示複合

矩陣乘法不是任意規定的公式，而是用來表達線性映射複合的規則。

若向量 $x$ 先被送到 $Bx$，再將結果送到 $A(Bx)$，則整體作用就是

$$(AB)x.$$

所以內側大小一定要吻合，因為第一個變換的輸出，必須是第二個變換可以接收 的輸入。

定理

結合律對應重複複合

只要相關乘積有定義，就有

$$A(BC) = (AB)C.$$

所以一串矩陣乘積可以改變分組方式，而不改變最後的線性變換。

這並不表示可以改變因子的次序。結合律只允許改變括號，而不允許重新排列因子。

定義

轉置

若 $A = [a_{ij}]$ 是一個 $m \times n$ 矩陣，則它的轉置 $A^T$ 是 $n \times m$ 矩陣，其 $(j,i)$ 位置的元素為 $a_{ij}$。

也就是

$$(A^T)_{ji} = a_{ij}.$$

所以 $A$ 的每一行都會變成 $A^T$ 的一欄，而 $A$ 的每一欄都會變成 $A^T$ 的一行。

定理

轉置的基本性質

矩陣相加時，設 $A$ 與 $B$ 大小相同；設 $c$ 為純量。矩陣相乘時， 設 $A$ 是 $m \times n$ 矩陣、$B$ 是 $n \times p$ 矩陣。則：

1. $(A^T)^T = A$
2. $(A + B)^T = A^T + B^T$
3. $(cA)^T = cA^T$
4. $(AB)^T = B^T A^T$

證明

乘積轉置公式的逐元素證明

設 $A=[a_{ij}]$ 是 $m \times n$ 矩陣，$B=[b_{ij}]$ 是 $n \times p$ 矩陣。於是 $AB$ 是 $m \times p$ 矩陣，而 $(AB)^T$ 與 $B^T A^T$ 都是 $p \times m$ 矩陣。對 $1 \le i \le p$、$1 \le j \le m$，第一個矩陣的 $(i,j)$ 元素為

$$\bigl((AB)^T\bigr)_{ij} =(AB)_{ji} =\sum_{k=1}^{n}a_{jk}b_{ki}.$$

另一方面，$B^T A^T$ 的 $(i,j)$ 元素為

$$\begin{aligned} (B^T A^T)_{ij} &=\sum_{k=1}^{n}(B^T)_{ik}(A^T)_{kj} \\ &=\sum_{k=1}^{n}b_{ki}a_{jk} \\ &=\sum_{k=1}^{n}a_{jk}b_{ki}. \end{aligned}$$

最後一步使用的是純量乘法的交換律，並沒有假設矩陣乘法可交換。兩邊每個 對應元素都相等，所以 $(AB)^T=B^T A^T$。大小亦可說明為甚麼必須反序： $B^T$ 是 $p \times n$ 矩陣，$A^T$ 是 $n \times m$ 矩陣； $A^T B^T$ 一般甚至沒有定義。

座標偏導數

定義

一點處的偏導數

設 $U\subseteq\mathbb R^n$ 為開集，$f:U\to\mathbb R$，且 $a\in U$。若有限極限

$$\partial_i f(a)=\lim_{t\to0}\frac{f(a+t e_i)-f(a)}{t}$$

存在，就稱它為 $f$ 在 $a$ 處對第 $i$ 個變量的偏導數，也記為 $\frac{\partial f}{\partial x_i}(a)$。二元函數中通常寫成 $f_x$ 和 $f_y$。

定義

梯度、重複偏導數與光滑性

當全部一階偏導數在 $a$ 處存在時，定義梯度

$$\nabla f(a)=\bigl(\partial_1f(a),\ldots,\partial_nf(a)\bigr).$$

本節採用 $f_{xy}=\partial_y(f_x)$ 的約定，即先對 $x$ 求導，再對 $y$ 求導。若函數在開集上所有不超過 $r$ 階的偏導數都存在且連續，就稱它屬於 $C^r$ 類。

定理

偏導數的代數運算法則

若 $f,g$ 在 $a$ 處都有第 $i$ 個偏導數，則

$$\partial_i(f+g)(a)=\partial_if(a)+\partial_ig(a),$$$$\partial_i(fg)(a)=g(a)\partial_if(a)+f(a)\partial_ig(a).$$

若另有 $g(a)\ne0$，則沿該座標直線在 $a$ 附近商有定義，並且

$$\partial_i(f/g)(a) =\frac{g(a)\partial_if(a)-f(a)\partial_ig(a)}{g(a)^2}.$$

可微性與局部線性模型

定義

帶有線性餘項的可微性

設 $U\subseteq\mathbb R^n$ 是開集，$F:U\to\mathbb R^m$。若存在一個線性映射 $A:\mathbb R^n\to\mathbb R^m$，使

$$F(a+h)=F(a)+Ah+R(h), \qquad \lim_{h\to0,\ h\ne0}\frac{\|R(h)\|}{\|h\|}=0,$$

就稱 $F$ 在 $a\in U$ 處可微。這個映射稱為導數，記為 $DF(a)$。簡寫 $R(h)=o(\|h\|)$ 表示上述餘項極限成立。

定義

線性近似與全微分

$F$ 在 $a$ 處的線性近似是仿射函數

$$L_a(x)=F(a)+DF(a)(x-a).$$

對於實值可微函數，

$$DF(a)h=\sum_{i=1}^n\partial_if(a)h_i=\nabla f(a)\cdot h.$$

一階預測變化稱為全微分：

$$df_a=\sum_{i=1}^n\partial_if(a)\,dx_i.$$

定理

導數的必要結果與唯一性

若 $F$ 在 $a$ 處可微，則它在該點連續；各座標偏導數存在，並等於 $DF(a)$ 的相應欄。滿足可微性定義的線性映射是唯一的。

證明

連續性、座標導數與唯一性

有限維歐幾里得空間上的線性映射滿足 $\|Ah\|\le C\|h\|$，其中 $C$ 為某個常數。於是

$$\|F(a+h)-F(a)\|\le C\|h\|+\|R(h)\|\longrightarrow0.$$

因此 $F$ 在 $a$ 處連續。再令 $h=te_i$，把展開式除以 $t$，餘項除以 $t$ 後趨於零，所得座標偏導數就是 $Ae_i$。

若 $A,B$ 都滿足定義，相減得 $(A-B)h=o(\|h\|)$。依次取 $h=te_i$，可得 $(A-B)e_i=0$。線性映射由它在基向量上的取值唯一確定，所以 $A=B$。

定理

連續一階偏導數是充分條件

設 $f$ 定義在開集 $U$ 上。若各一階偏導數在 $a$ 的某個鄰域內存在，並在 $a$ 處連續，則 $f$ 在 $a$ 處可微。特別地，開集上的 $C^1$ 函數處處可微。向量值函數可以逐分量應用同一結論。

證明

連續偏導數為何控制所有方向

對二元函數，把總變化拆成兩次座標變化：

$$f(a+h,b+k)-f(a,b) =[f(a+h,b+k)-f(a,b+k)] +[f(a,b+k)-f(a,b)].$$

分別使用一元平均值定理，得到某些中間座標 $\xi,\eta$，使總變化等於

$$f_x(\xi,b+k)h+f_y(a,\eta)k.$$

減去候選線性變化 $f_x(a,b)h+f_y(a,b)k$，再除以 $\sqrt{h^2+k^2}$。由於 $|h|,|k|$ 都不超過這個範數，餘項比值至多為

$$|f_x(\xi,b+k)-f_x(a,b)|+ |f_y(a,\eta)-f_y(a,b)|.$$

中間點隨 $(h,k)\to(0,0)$ 趨於 $(a,b)$，因此兩個差都由連續性趨於零。某個座標增量為零時，直接省去對應變化即可。更高維情形沿各座標方向依次作同樣的拆分。

例題

連續且有偏導數，仍不可微

定義

$$g(x,y)= \begin{cases} \dfrac{xy}{\sqrt{x^2+y^2}},&(x,y)\ne(0,0),\\ 0,&(x,y)=(0,0). \end{cases}$$

由 $|xy|\le(x^2+y^2)/2$，可得 $|g(x,y)|\le\sqrt{x^2+y^2}/2$，所以原點處連續。兩條座標限制恆為零，兩個一階偏導數也都是零。

若導數存在，座標偏導數會迫使它為零映射，此時餘項就是函數本身。然而沿 $(x,y)=(t,t)$，

$$\frac{|g(t,t)|}{\sqrt{t^2+t^2}}=\frac12$$

對每個非零 $t$ 都成立。餘項沒有比位移長度小一個階，故原點處不可微。這個例子同時保留連續性與偏導數存在，因而準確指出缺少的是統一的一階近似。

鏈式法則與變化率

定義

指定方向上的導數

設 $f$ 定義在 $a\in\mathbb R^n$ 的開鄰域內，$u$ 是單位向量。若有限雙側極限

$$D_uf(a)=\lim_{t\to0}\frac{f(a+tu)-f(a)}{t}$$

存在，就稱它為沿 $u$ 的方向導數。因為 $\|u\|=1$，參數 $t$ 表示沿該直線的帶符號距離。

定理

矩陣形式的鏈式法則

設 $F:U\subseteq\mathbb R^n\to\mathbb R^m$ 在 $a$ 處可微，$G:V\subseteq\mathbb R^m\to\mathbb R^p$ 在 $F(a)$ 處可微。假設 $U,V$ 為開集，且複合函數在 $a$ 附近有定義，則

$$D(G\circ F)(a)=DG(F(a))\,DF(a).$$

矩陣維數為 $(p\times m)(m\times n)=p\times n$。

證明

把兩個線性近似連接起來

令 $A=DF(a)$、$b=F(a)$、$B=DG(b)$。對小位移，

$$F(a+h)=b+Ah+r(h),\qquad r(h)=o(\|h\|).$$

記 $\Delta=Ah+r(h)$。外層展開為

$$G(b+\Delta)=G(b)+B\Delta+s(\Delta), \qquad s(\Delta)=o(\|\Delta\|).$$

代入後，一階項為 $BAh$，餘項為 $Br(h)+s(\Delta)$。由線性映射的範數上界，充分小的 $h$ 滿足 $\|\Delta\|\le C\|h\|$。所以 $Br(h)=o(\|h\|)$，外層餘項估計也推出 $s(\Delta)=o(\|h\|)$；若 $\Delta=0$，該餘項直接等於零。因此複合函數具有導數 $BA$。

定理

曲線變化率與梯度

若 $f$ 在 $a=\gamma(t_0)$ 處可微，且 $\gamma$ 在 $t_0$ 處可微，則

$$(f\circ\gamma)'(t_0)=\nabla f(a)\cdot\gamma'(t_0).$$

特別地，對單位向量 $u$，

$$D_uf(a)=\nabla f(a)\cdot u.$$

若 $\nabla f(a)\ne0$，最大的單位方向變化率為 $\|\nabla f(a)\|$，在方向 $\nabla f(a)/\|\nabla f(a)\|$ 取得；最小值為其相反數，在反方向取得。

進行矩陣計算時，把梯度寫成欄向量。標量輸出的雅可比矩陣只有一行：

$$Df(a)=\nabla f(a)^T,\qquad Df(a)h=\nabla f(a)^Th.$$

對於 $g:\mathbb R^n\to\mathbb R^m$，雅可比矩陣有 $m$ 個輸出行和 $n$ 個輸入欄。這個約定確定鏈式法則的乘法次序，不改變偏導數本身。

假設模型中的多變量敏感度

情景表是一個線性映射

設持有量為 $x_1,x_2$，兩個指定情景下的變化為

$$\Delta v=\begin{pmatrix}2&-1\\-3&4\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}.$$

在 $(5,2)^T$ 處，變化為 $(8,-7)^T$。每一欄給出相應持有量增加一單位時，兩個情景的響應。這些是確定的情景輸出，不是概率。

折現付款：定義域、偏導數與利率單位

設

$$P(F,r)=\frac{F}{1+r}.$$

這個公式在數學上要求 $r\ne-1$。這裏的模型取 $F\ge0$、$r>-1$。內點處的導數考察所有方向的小位移；邊界處則必須說明所用的延拓或單側約定。

保持另一輸入不變，得到

$$P_F=\frac1{1+r},\qquad P_r=-\frac{F}{(1+r)^2}.$$

在 $F=110$、$r=0.1$ 處，函數值為 $100$，且 $P_F=10/11$、$P_r=-1000/11$。第一個偏導數表示每單位付款帶來的變化；第二個表示每單位利率比例帶來的變化。利率增加 $0.01$ 是增加一個百分點，並非增加原利率的百分之一。

若兩個輸入同時改變 $\Delta F=1$、$\Delta r=0.001$，一階估計為

$$\Delta P\approx\frac{10}{11}(1)-\frac{1000}{11}(0.001)=\frac9{11}\approx0.81818.$$

預測的新值約為 $100.81818$，而精確值為 $111/1.101\approx100.81744$。利率變化抵消了部分付款增加的影響。這是近似，而不是有限變化的精確恆等式。大小為 $0.1$ 的利率衝擊是 $0.001$ 的一百倍。

二次模型具有精確餘項

對於

$$V(x,y)=4x^2+2xy+9y^2,$$

有 $\nabla V=(8x+2y,2x+18y)^T$。若 $h=(u,v)^T$，直接展開得

$$V(x+u,y+v)-V(x,y)=\nabla V(x,y)\cdot h+4u^2+2uv+9v^2.$$

由 $|2uv|\le u^2+v^2$，餘項的絕對值至多為 $5u^2+10v^2\le10\|h\|^2$。因此，在所選座標尺度下，$\|h\|\le0.01$ 可保證誤差不超過 $0.001$ 個輸出單位。一階項為零，不代表二次變化亦為零。

沿保持預算的路徑變化

設 $C(x,y)=x^2+3y^2$，且 $x+y=10$。經過 $(4,6)$ 的可行路徑可取 $x(t)=4+t$、$y(t)=6-t$。鏈式法則給出

$$\frac{d}{dt}C(x(t),y(t))\bigg|_{t=0} =(2x,6y)\cdot(1,-1)\big|_{(4,6)}=8-36=-28.$$

沿這條指定可行路徑，小的正 $t$ 使成本在一階意義下降低。這一計算本身並未找出全局約束最優點。

練習與完整解答

P01. 設 $x=(1,-2,2)^T$、$y=(3,0,1)^T$，求 $x\cdot y$ 和 $\|x\|$。

解答。 $x\cdot y=3+0+2=5$，$\|x\|=\sqrt{1+4+4}=3$。

P02. 求 $f(x,y)=x^2y+\ln y$ 的梯度，並寫出實定義域。

解答。 定義域為 $\mathbb R\times(0,\infty)$，梯度為 $(2xy,x^2+1/y)^T$。對數要求 $y>0$；求導不能取消這個限制。

P03. 對 $P(F,r)=F/(1+r)$，在 $(120,0.2)$ 處求 $P$、$P_F$、$P_r$。

解答。 $P=100$，$P_F=1/1.2=5/6$，$P_r=-120/(1.2)^2=-250/3$。

P04. 在 P03 的基點，若 $\Delta F=2$、$\Delta r=0.002$，估計函數變化，並解釋利率單位。

解答。 估計為 $(5/6)(2)-(250/3)(0.002)=5/3-1/6=3/2$。利率增加 $0.002$，即 $0.2$ 個百分點，並非增加原利率的 $0.2\%$。

P05. 設 $f(x,y)=xy+y^2$、$x(t)=t^2$、$y(t)=1+t$，求 $f(x(t),y(t))$ 的導數，並展開驗證。

解答。 $\nabla f=(y,x+2y)^T$，$x'=2t$，$y'=1$，故導數為 $2t(1+t)+t^2+2(1+t)=3t^2+4t+2$。展開得 $f=t^3+2t^2+2t+1$，求導得到相同結果。

P06. 求 $g(x,y)=(x+y,xy)^T$ 的雅可比矩陣，用它從 $(1,2)$ 處近似計算 $g(1.02,1.97)$，並與精確值比較。

解答。 $Dg=\begin{pmatrix}1&1\\y&x\end{pmatrix}$，所以 $Dg(1,2)=\begin{pmatrix}1&1\\2&1\end{pmatrix}$。位移 $h=(0.02,-0.03)^T$ 的預測變化為 $(-0.01,0.01)^T$，得到 $(2.99,2.01)^T$。第二個輸出的精確值為 $1.02(1.97)=2.0094$，因此精確值減預測值為 $-0.0006$；第一個輸出則完全精確。

P07. 在 $(1,2)$ 處，求 $f=x^2+2y^2$ 沿單位方向 $(3/5,4/5)^T$ 的方向導數。

解答。 梯度為 $(2x,4y)^T$，在該點為 $(2,8)^T$。與所給單位向量的內積為 $6/5+32/5=38/5$。

P08. 對 $Q(x,y)=x^2+2xy+4y^2$，求精確一階餘項，並證明其絕對值不超過 $5\|h\|^2$。

解答。 若 $h=(u,v)^T$，餘項為 $u^2+2uv+4v^2$。其絕對值至多為 $u^2+2|uv|+4v^2\le2u^2+5v^2\le5(u^2+v^2)=5\|h\|^2$。除以 $\|h\|$ 後，餘項比值趨於零。

P09. 用 $f(0,0)=0$、其餘點 $f(x,y)=xy/(x^2+y^2)$ 反駁「兩個偏導數存在，所以線性近似有效」。計算兩條座標軸的差商和對角線極限。

解答。 對兩條座標軸的限制均為零，所以對非零 $h$，$[f(h,0)-0]/h=0$、$[f(0,h)-0]/h=0$，兩個偏導數均為零。但對 $t\ne0$，$f(t,t)=t^2/(2t^2)=1/2$，不趨於指定函數值零。因此函數在零點不連續，亦不可微。

P10. 設 $g(x,y)=(x+y,xy)^T$、$H(u,v)=u^2+v$。用雅可比矩陣乘法求 $D(H\circ g)$，再展開驗證。

解答。 外層導數為 $DH(u,v)=(2u,1)$，所以

$$D(H\circ g)=(2(x+y),1)\begin{pmatrix}1&1\\y&x\end{pmatrix}=(2x+3y,3x+2y).$$

展開得 $(x+y)^2+xy=x^2+3xy+y^2$，其兩個偏導數與上式一致。外層導數應在 $g(x,y)$ 處取值，並從左邊乘內層雅可比矩陣。