高階導數、雅可比矩陣與矩陣鏈式法則

梯度描述單個標量輸出，而雅可比矩陣描述多個輸出對多個輸入的響應。高階導數刻畫這些一階變化率如何變化。矩陣記號使我們能組合產量變換、價格響應和目標函數，同時保留交叉效應。

1 高階導數與混合偏導數

對於可微的 $u,v$，乘積法則為 $(uv)'=u'v+uv'$。若 $v(a)\ne0$，用差商對倒數求導得到 $(1/v)'(a)=-v'(a)/v(a)^2$。因此，對 $u(1/v)$ 應用乘積法則可得

$$(u/v)'=\frac{u'v-uv'}{v^2}\quad(v\ne0).$$

在平均成本模型 $C(q)/q$ 中，$q>0$，其導數為 $[qC'(q)-C(q)]/q^2$。若 $C=F+aq+bq^2$ 且 $F,b>0$，平均成本的導數為 $b-F/q^2$；由導數的符號變化可知，在正產量範圍內唯一的全局最小值出現在 $q=\sqrt{F/b}$。這是有條件的連續模型。

對一元函數，定義 $f^{(0)}=f$，並在導數存在的地方遞歸定義 $f^{(k+1)}=(f^{(k)})'$。二階導數衡量曲率，而不是原來的變化率；每求一次導，其單位都再除以一個輸入單位。對 $f(q)=q^4$，前三階導數為 $4q^3,12q^2,24q$，四階導數為 24。

對於 $f(x,y)$，二階偏導數包括 $f_{xx},f_{xy},f_{yx},f_{yy}$。若二階偏導數在某鄰域內連續，則混合偏導數相等。一種證明方法是在小矩形上取雙重增量，按兩個次序分別應用微積分基本定理，除以兩邊長度，再讓兩者趨於零。這兩個極限分別為該點的 $f_{xy}$ 和 $f_{yx}$。僅有混合偏導數存在而無此類正則性，不能保證它們相等。

梯度是欄向量 $(f_x,f_y)^T$，海森矩陣由二階偏導數組成。若二階偏導數連續，它便是對稱矩陣。高階混合導數通過按指定坐標次序反覆求導得到；交換次序需要適當的連續性條件。

反覆對乘積求導可得萊布尼茨公式 $(uv)^{(n)}=\sum_{j=0}^n\binom nj u^{(j)}v^{(n-j)}$，條件是所需導數存在；歸納證明用到乘積法則和帕斯卡恆等式。對複合函數求兩次導數可得 $(f\circ g)''=f''(g)(g')^2+f'(g)g''$，這說明高階鏈式法則並不是簡單地將二階導數相乘。

2 雅可比矩陣與局部向量響應

設 $F:U\subset\mathbb R^n\to\mathbb R^m$ 定義在 $a$ 的一個開鄰域上。它的雅可比矩陣是 $m\times n$ 矩陣

$$J_F(a)=\left(\frac{\partial F_i}{\partial x_j}(a)\right)_{i,j}.$$

對於 $C^1$ 函數，它給出局部近似 $F(a+h)=F(a)+J_F(a)h+o(\|h\|)$。每一行表示一個輸出對各坐標的敏感度；每一欄表示改變一個輸入對所有輸出的影響。梯度與雅可比矩陣的形狀不同：對於標量輸出，按這裏的約定，雅可比矩陣是梯度的轉置。

定義

指定方向上的導數

設 $f$ 定義在 $a\in\mathbb R^n$ 的開鄰域內，$u$ 是單位向量。若有限雙側極限

$$D_uf(a)=\lim_{t\to0}\frac{f(a+tu)-f(a)}{t}$$

存在，就稱它為沿 $u$ 的方向導數。因為 $\|u\|=1$，參數 $t$ 表示沿該直線的帶符號距離。

定理

矩陣形式的鏈式法則

設 $F:U\subseteq\mathbb R^n\to\mathbb R^m$ 在 $a$ 處可微，$G:V\subseteq\mathbb R^m\to\mathbb R^p$ 在 $F(a)$ 處可微。假設 $U,V$ 為開集，且複合函數在 $a$ 附近有定義，則

$$D(G\circ F)(a)=DG(F(a))\,DF(a).$$

矩陣維數為 $(p\times m)(m\times n)=p\times n$。

證明

把兩個線性近似連接起來

令 $A=DF(a)$、$b=F(a)$、$B=DG(b)$。對小位移，

$$F(a+h)=b+Ah+r(h),\qquad r(h)=o(\|h\|).$$

記 $\Delta=Ah+r(h)$。外層展開為

$$G(b+\Delta)=G(b)+B\Delta+s(\Delta), \qquad s(\Delta)=o(\|\Delta\|).$$

代入後，一階項為 $BAh$，餘項為 $Br(h)+s(\Delta)$。由線性映射的範數上界，充分小的 $h$ 滿足 $\|\Delta\|\le C\|h\|$。所以 $Br(h)=o(\|h\|)$，外層餘項估計也推出 $s(\Delta)=o(\|h\|)$；若 $\Delta=0$，該餘項直接等於零。因此複合函數具有導數 $BA$。

定理

曲線變化率與梯度

若 $f$ 在 $a=\gamma(t_0)$ 處可微，且 $\gamma$ 在 $t_0$ 處可微，則

$$(f\circ\gamma)'(t_0)=\nabla f(a)\cdot\gamma'(t_0).$$

特別地，對單位向量 $u$，

$$D_uf(a)=\nabla f(a)\cdot u.$$

若 $\nabla f(a)\ne0$，最大的單位方向變化率為 $\|\nabla f(a)\|$，在方向 $\nabla f(a)/\|\nabla f(a)\|$ 取得；最小值為其相反數，在反方向取得。

乘法次序由維數和複合次序決定。倒轉次序可能沒有定義，也可能計算出不同的變換。

3 價格響應與邊際收入

設模型中的產量為 $q=(q_1,q_2)^T$，價格為

$$p(q)=\binom{20-q_1-q_2/2}{15-q_1/2-q_2},\qquad J_p=\begin{pmatrix}-1&-1/2\\-1/2&-1\end{pmatrix}.$$

收入是 $R=q^Tp(q)$，而不是價格之和。其微分為 $dR=p^Tdq+q^TJ_p dq$，因此

$$\nabla R=p+J_p^Tq.$$

這不僅包括增加一個單位的直接收入，還包括產量變化對所有價格的影響。若可變成本為 $2q_1+3q_2$，利潤為

$$\Pi=18q_1+12q_2-q_1^2-q_1q_2-q_2^2.$$

其梯度在 $(8,2)$ 處為零，海森矩陣 $\begin{pmatrix}-2&-1\\-1&-2\end{pmatrix}$ 負定。以該點為中心平移後，增量為嚴格負的 $-(h^2+hk+k^2)$（非零位移時），證明瞭該代數模型的唯一全局最大值。該點非負，模型利潤為 84。

4 改變決策坐標

設 $q_1=u+v$，$q_2=u-v$，則 $J_q=\begin{pmatrix}1&1\\1&-1\end{pmatrix}$。標量鏈式法則給出 $\nabla_{u,v}\Pi=J_q^T\nabla_q\Pi$。直接代入得到

$$\Pi(u,v)=30u+6v-3u^2-v^2,$$

因此梯度為 $(30-6u,6-2v)^T$。最優點 $(u,v)=(5,3)$ 對應 $(8,2)$。可行域 $q_1,q_2\ge0$ 變為 $u\ge|v|$；改變坐標不會消除可行性約束。

對於仿射坐標變換 $q=Bu+c$，海森矩陣按 $H_u=B^TH_qB$ 變換。非線性坐標變換還有涉及 $q$ 的二階導數和目標函數的一階導數的附加項。未經檢查這些附加項，不應將仿射公式用於非線性變換。

5 分級練習

E1 基礎。 求 $F(x,y)=(x^2+y,xy)$ 在 $(1,2)$ 處的雅可比矩陣，以及對位移 $(0.01,-0.02)$ 的線性預測。比較實際變化。

E2 鏈式法則。 設 $G(s,t)=(s+t,st)$，$F(x,y)=(x^2,x+y)$。用矩陣乘法求 $J_{F\circ G}(1,2)$。

E3 混合導數。 對 $f=x^2e^y$，求 $f_{xy}$、$f_{xxy}$ 和 $f_{yyy}$。

E4 海森矩陣的變換。 對 $f(q)=q_1^2+2q_2^2$ 及 $q_1=u+v$、$q_2=u-v$，用兩種方法計算 $(u,v)$ 坐標下的海森矩陣。

E5 商法則。 求 $(q^2+1)/(q+1)$ 的前兩階導數，並指出排除的輸入值。

6 詳解

S1. 雅可比矩陣為 $\begin{pmatrix}2&1\\2&1\end{pmatrix}$。它與位移的乘積為零。實際變化在第一分量為 $h^2=0.0001$，第二分量為 $hk=-0.0002$。一階變化為零並不意味著實際變化為零。

S2. 在 $(1,2)$ 處，$G=(3,2)$，故 $J_F=\begin{pmatrix}6&0\\1&1\end{pmatrix}$，$J_G=\begin{pmatrix}1&1\\2&1\end{pmatrix}$。乘積為 $\begin{pmatrix}6&6\\3&2\end{pmatrix}$。對 $((s+t)^2,st+s+t)$ 求導可驗證結果。

S3. 導數分別為 $2xe^y$、$2e^y$ 和 $x^2e^y$。光滑的指數因子保證了所示混合求導次序的交換。

S4. 直接代入得到 $3u^2-2uv+3v^2$，海森矩陣為 $\begin{pmatrix}6&-2\\-2&6\end{pmatrix}$。用 $B=\begin{pmatrix}1&1\\1&-1\end{pmatrix}$ 計算 $B^T\operatorname{diag}(2,4)B$ 也得到同一矩陣。

S5. 對 $q\ne-1$，一階導數為 $(q^2+2q-1)/(q+1)^2$。將原式相除得 $q-1+2/(q+1)$，其二階導數為 $4/(q+1)^3$。兩種表示都排除相同輸入 $q=-1$。

小結

高階導數追蹤變化率的變化及交叉效應。雅可比矩陣描述向量值函數的局部響應，矩陣鏈式法則按正確次序組合這些響應。目標函數的梯度包含間接效應，而坐標變換必須保留導數項和可行域約束。