偏导数与局部模型

借助矩阵记号，我们先区分坐标偏导数与整体的线性近似，再运用链式法则，最后讨论具体应用。

这里 $e_i$ 表示第 $i$ 个分量为 $1$、其余分量为 $0$ 的标准基向量；欧几里得范数以及保持加法和数乘的线性映射是本篇先修，可参阅向量与范数及线性映射与线性近似。

矩阵记号与乘法

定义

矩阵乘积何时有定义

若 $A$ 是 $m \times n$ 矩阵，$B$ 是 $n \times p$ 矩阵，则乘积 $AB$ 有定义，且结果是 $m \times p$ 矩阵。

若 $A$ 的列数不等于 $B$ 的行数，则 $AB$ 未定义。

定义

矩阵乘法

设 $A = [a_{ij}]$ 是 $m \times n$ 矩阵，$B = [b_{jk}]$ 是 $n \times p$ 矩阵。

则 $AB$ 的 $(i,k)$ 元素为

$$(AB)_{ik} = a_{i1}b_{1k} + a_{i2}b_{2k} + \cdots + a_{in}b_{nk}.$$

也就是说，输出中的一个元素，是 $A$ 的第 $i$ 行与 $B$ 的第 $k$ 列按位相 乘后再相加。

单位矩阵是刻意“什么也不改变”的矩阵

定义

单位矩阵

对每个正整数 $n$，$I_n$ 表示 $n \times n$ 单位矩阵：主对角线上全是 $1$， 其余位置全是 $0$。

例如

$$I_2 = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, \qquad I_3 = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}.$$

单位矩阵之所以重要，是因为它对任何大小相容的矩阵都不起改变作用：

$$AI_n = A, \qquad I_m A = A.$$

例题

为什么乘上单位矩阵不会改变矩阵

若

$$A = \begin{bmatrix} 2 & -1 \\ 4 & 3 \end{bmatrix},$$

则

$$AI_2 = \begin{bmatrix} 2 & -1 \\ 4 & 3 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} 2 & -1 \\ 4 & 3 \end{bmatrix}.$$

因为 $I_2$ 的第一列会抽出 $A$ 的第一列，第二列会抽出 $A$ 的第二列。

反例模式

大小相容并不保证交换

“任意两个同样大小的方阵都满足 $AB=BA$”是错误命题，即使两种次序的乘积都有定义且大小相同。取

$$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\qquad B=\begin{bmatrix}0&0\\0&1\end{bmatrix}.$$

两者都是 $2\times2$ 实矩阵，满足所提命题的假设。直接按行乘列计算，得到

$$AB=\begin{bmatrix}0&2\\0&4\end{bmatrix},\qquad BA=\begin{bmatrix}0&0\\3&4\end{bmatrix}.$$

例如，$(AB)_{12}=1\cdot0+2\cdot1=2$，但 $(BA)_{12}=0\cdot2+0\cdot4=0$。只要一对对应元素不同，就足以证明 $AB\ne BA$。失败的结构原因是：右乘这个 $B$ 会保留第二列、把第一列归零；左乘它则保留第二行、把第一行归零。

一个正确的修订是：方阵与同样大小的单位矩阵的任意标量倍都可交换。事实上，若 $B=cI$，则 $AB=A(cI)=cA=(cI)A=BA$。对于任意方阵，交换性需要另行论证；大小相容只保证乘法有定义，并不保证因子可以调换。

矩阵乘法其实表示复合

矩阵乘法不是随手规定出来的公式，而是用来表达线性映射复合的规则。

如果向量 $x$ 先被送到 $Bx$，再将结果送到 $A(Bx)$，那么整体作用就是

$$(AB)x.$$

所以内侧大小一定要匹配，因为第一个变换的输出，必须是第二个变换可以接收 的输入。

定理

结合律对应重复复合

只要相关乘积有定义，就有

$$A(BC) = (AB)C.$$

所以一串矩阵乘积可以改变分组方式，而不改变最后的线性变换。

这并不表示可以改变因子的次序。结合律只允许改变括号，而不允许重新排列因子。

定义

转置

若 $A = [a_{ij}]$ 是一个 $m \times n$ 矩阵，则它的转置 $A^T$ 是 $n \times m$ 矩阵，其 $(j,i)$ 位置的元素为 $a_{ij}$。

也就是

$$(A^T)_{ji} = a_{ij}.$$

所以 $A$ 的每一行都会变成 $A^T$ 的一列，而 $A$ 的每一列都会变成 $A^T$ 的一行。

定理

转置的基本性质

当矩阵相加时，设 $A$ 与 $B$ 尺寸相同；设 $c$ 为标量。当矩阵相乘时， 设 $A$ 是 $m \times n$ 矩阵、$B$ 是 $n \times p$ 矩阵。则：

1. $(A^T)^T = A$
2. $(A + B)^T = A^T + B^T$
3. $(cA)^T = cA^T$
4. $(AB)^T = B^T A^T$

证明

乘积转置公式的逐元素证明

设 $A=[a_{ij}]$ 是 $m \times n$ 矩阵，$B=[b_{ij}]$ 是 $n \times p$ 矩阵。于是 $AB$ 是 $m \times p$ 矩阵，而 $(AB)^T$ 与 $B^T A^T$ 都是 $p \times m$ 矩阵。对 $1 \le i \le p$、$1 \le j \le m$，第一个矩阵的 $(i,j)$ 元素为

$$\bigl((AB)^T\bigr)_{ij} =(AB)_{ji} =\sum_{k=1}^{n}a_{jk}b_{ki}.$$

另一方面，$B^T A^T$ 的 $(i,j)$ 元素为

$$\begin{aligned} (B^T A^T)_{ij} &=\sum_{k=1}^{n}(B^T)_{ik}(A^T)_{kj} \\ &=\sum_{k=1}^{n}b_{ki}a_{jk} \\ &=\sum_{k=1}^{n}a_{jk}b_{ki}. \end{aligned}$$

最后一步使用的是标量乘法的交换律，并没有假设矩阵乘法可交换。两边每个对应 元素都相等，所以 $(AB)^T=B^T A^T$。尺寸也能说明为何必须反序：$B^T$ 是 $p \times n$ 矩阵，$A^T$ 是 $n \times m$ 矩阵；$A^T B^T$ 通常甚至没有定义。

坐标偏导数

定义

一点处的偏导数

设 $U\subseteq\mathbb R^n$ 为开集，$f:U\to\mathbb R$，且 $a\in U$。若有限极限

$$\partial_i f(a)=\lim_{t\to0}\frac{f(a+t e_i)-f(a)}{t}$$

存在，就称它为 $f$ 在 $a$ 处对第 $i$ 个变量的偏导数，也记为 $\frac{\partial f}{\partial x_i}(a)$。二元函数中通常写成 $f_x$ 和 $f_y$。

定义

梯度、重复偏导数与光滑性

当全部一阶偏导数在 $a$ 处存在时，定义梯度

$$\nabla f(a)=\bigl(\partial_1f(a),\ldots,\partial_nf(a)\bigr).$$

本节采用 $f_{xy}=\partial_y(f_x)$ 的约定，即先对 $x$ 求导，再对 $y$ 求导。若函数在开集上所有不超过 $r$ 阶的偏导数都存在且连续，就称它属于 $C^r$ 类。

定理

偏导数的代数运算法则

若 $f,g$ 在 $a$ 处都有第 $i$ 个偏导数，则

$$\partial_i(f+g)(a)=\partial_if(a)+\partial_ig(a),$$$$\partial_i(fg)(a)=g(a)\partial_if(a)+f(a)\partial_ig(a).$$

若另有 $g(a)\ne0$，则沿该坐标直线在 $a$ 附近商有定义，并且

$$\partial_i(f/g)(a) =\frac{g(a)\partial_if(a)-f(a)\partial_ig(a)}{g(a)^2}.$$

可微性与局部线性模型

定义

带有线性余项的可微性

设 $U\subseteq\mathbb R^n$ 是开集，$F:U\to\mathbb R^m$。若存在一个线性映射 $A:\mathbb R^n\to\mathbb R^m$，使

$$F(a+h)=F(a)+Ah+R(h), \qquad \lim_{h\to0,\ h\ne0}\frac{\|R(h)\|}{\|h\|}=0,$$

就称 $F$ 在 $a\in U$ 处可微。这个映射称为导数，记为 $DF(a)$。简写 $R(h)=o(\|h\|)$ 表示上述余项极限成立。

定义

线性近似与全微分

$F$ 在 $a$ 处的线性近似是仿射函数

$$L_a(x)=F(a)+DF(a)(x-a).$$

对于实值可微函数，

$$DF(a)h=\sum_{i=1}^n\partial_if(a)h_i=\nabla f(a)\cdot h.$$

一阶预测变化称为全微分：

$$df_a=\sum_{i=1}^n\partial_if(a)\,dx_i.$$

定理

导数的必要结果与唯一性

若 $F$ 在 $a$ 处可微，则它在该点连续；各坐标偏导数存在，并等于 $DF(a)$ 的相应列。满足可微性定义的线性映射是唯一的。

证明

连续性、坐标导数与唯一性

有限维欧几里得空间上的线性映射满足 $\|Ah\|\le C\|h\|$，其中 $C$ 为某个常数。于是

$$\|F(a+h)-F(a)\|\le C\|h\|+\|R(h)\|\longrightarrow0.$$

因此 $F$ 在 $a$ 处连续。再令 $h=te_i$，把展开式除以 $t$，余项除以 $t$ 后趋于零，所得坐标偏导数就是 $Ae_i$。

若 $A,B$ 都满足定义，相减得 $(A-B)h=o(\|h\|)$。依次取 $h=te_i$，可得 $(A-B)e_i=0$。线性映射由它在基向量上的取值唯一确定，所以 $A=B$。

定理

连续一阶偏导数是充分条件

设 $f$ 定义在开集 $U$ 上。若各一阶偏导数在 $a$ 的某个邻域内存在，并在 $a$ 处连续，则 $f$ 在 $a$ 处可微。特别地，开集上的 $C^1$ 函数处处可微。向量值函数可以逐分量应用同一结论。

证明

连续偏导数为何控制所有方向

对二元函数，把总变化拆成两次坐标变化：

$$f(a+h,b+k)-f(a,b) =[f(a+h,b+k)-f(a,b+k)] +[f(a,b+k)-f(a,b)].$$

分别使用一元平均值定理，得到某些中间坐标 $\xi,\eta$，使总变化等于

$$f_x(\xi,b+k)h+f_y(a,\eta)k.$$

减去候选线性变化 $f_x(a,b)h+f_y(a,b)k$，再除以 $\sqrt{h^2+k^2}$。由于 $|h|,|k|$ 都不超过这个范数，余项比值至多为

$$|f_x(\xi,b+k)-f_x(a,b)|+ |f_y(a,\eta)-f_y(a,b)|.$$

中间点随 $(h,k)\to(0,0)$ 趋于 $(a,b)$，因此两个差都由连续性趋于零。某个坐标增量为零时，直接省去对应变化即可。更高维情形沿各坐标方向依次作同样的拆分。

例题

连续且有偏导数，仍不可微

定义

$$g(x,y)= \begin{cases} \dfrac{xy}{\sqrt{x^2+y^2}},&(x,y)\ne(0,0),\\ 0,&(x,y)=(0,0). \end{cases}$$

由 $|xy|\le(x^2+y^2)/2$，可得 $|g(x,y)|\le\sqrt{x^2+y^2}/2$，所以原点处连续。两条坐标限制恒为零，两个一阶偏导数也都是零。

若导数存在，坐标偏导数会迫使它为零映射，此时余项就是函数本身。然而沿 $(x,y)=(t,t)$，

$$\frac{|g(t,t)|}{\sqrt{t^2+t^2}}=\frac12$$

对每个非零 $t$ 都成立。余项没有比位移长度小一个阶，故原点处不可微。这个例子同时保留连续性与偏导数存在，因而准确指出缺少的是统一的一阶近似。

链式法则与变化率

定义

指定方向上的导数

设 $f$ 定义在 $a\in\mathbb R^n$ 的开邻域内，$u$ 是单位向量。若有限双侧极限

$$D_uf(a)=\lim_{t\to0}\frac{f(a+tu)-f(a)}{t}$$

存在，就称它为沿 $u$ 的方向导数。因为 $\|u\|=1$，参数 $t$ 表示沿该直线的带符号距离。

定理

矩阵形式的链式法则

设 $F:U\subseteq\mathbb R^n\to\mathbb R^m$ 在 $a$ 处可微，$G:V\subseteq\mathbb R^m\to\mathbb R^p$ 在 $F(a)$ 处可微。假设 $U,V$ 为开集，且复合函数在 $a$ 附近有定义，则

$$D(G\circ F)(a)=DG(F(a))\,DF(a).$$

矩阵维数为 $(p\times m)(m\times n)=p\times n$。

证明

把两个线性近似连接起来

令 $A=DF(a)$、$b=F(a)$、$B=DG(b)$。对小位移，

$$F(a+h)=b+Ah+r(h),\qquad r(h)=o(\|h\|).$$

记 $\Delta=Ah+r(h)$。外层展开为

$$G(b+\Delta)=G(b)+B\Delta+s(\Delta), \qquad s(\Delta)=o(\|\Delta\|).$$

代入后，一阶项为 $BAh$，余项为 $Br(h)+s(\Delta)$。由线性映射的范数上界，充分小的 $h$ 满足 $\|\Delta\|\le C\|h\|$。所以 $Br(h)=o(\|h\|)$，外层余项估计也推出 $s(\Delta)=o(\|h\|)$；若 $\Delta=0$，该余项直接等于零。因此复合函数具有导数 $BA$。

定理

曲线变化率与梯度

若 $f$ 在 $a=\gamma(t_0)$ 处可微，且 $\gamma$ 在 $t_0$ 处可微，则

$$(f\circ\gamma)'(t_0)=\nabla f(a)\cdot\gamma'(t_0).$$

特别地，对单位向量 $u$，

$$D_uf(a)=\nabla f(a)\cdot u.$$

若 $\nabla f(a)\ne0$，最大的单位方向变化率为 $\|\nabla f(a)\|$，在方向 $\nabla f(a)/\|\nabla f(a)\|$ 取得；最小值为其相反数，在反方向取得。

进行矩阵计算时，把梯度写成列向量。标量输出的雅可比矩阵只有一行：

$$Df(a)=\nabla f(a)^T,\qquad Df(a)h=\nabla f(a)^Th.$$

对于 $g:\mathbb R^n\to\mathbb R^m$，雅可比矩阵有 $m$ 个输出行和 $n$ 个输入列。这个约定确定链式法则的乘法次序，不改变偏导数本身。

假设模型中的多变量敏感度

情景表是一个线性映射

设持有量为 $x_1,x_2$，两个指定情景下的变化为

$$\Delta v=\begin{pmatrix}2&-1\\-3&4\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}.$$

在 $(5,2)^T$ 处，变化为 $(8,-7)^T$。每一列给出相应持有量增加一单位时，两个情景的响应。这些是确定的情景输出，不是概率。

折现付款：定义域、偏导数与利率单位

设

$$P(F,r)=\frac{F}{1+r}.$$

这个公式在数学上要求 $r\ne-1$。这里的模型取 $F\ge0$、$r>-1$。内点处的导数考察所有方向的小位移；边界处则必须说明所用的延拓或单侧约定。

保持另一输入不变，得到

$$P_F=\frac1{1+r},\qquad P_r=-\frac{F}{(1+r)^2}.$$

在 $F=110$、$r=0.1$ 处，函数值为 $100$，且 $P_F=10/11$、$P_r=-1000/11$。第一个偏导数表示每单位付款带来的变化；第二个表示每单位利率比例带来的变化。利率增加 $0.01$ 是增加一个百分点，并非增加原利率的百分之一。

若两个输入同时改变 $\Delta F=1$、$\Delta r=0.001$，一阶估计为

$$\Delta P\approx\frac{10}{11}(1)-\frac{1000}{11}(0.001)=\frac9{11}\approx0.81818.$$

预测的新值约为 $100.81818$，而精确值为 $111/1.101\approx100.81744$。利率变化抵消了部分付款增加的影响。这是近似，而不是有限变化的精确恒等式。大小为 $0.1$ 的利率冲击是 $0.001$ 的一百倍。

二次模型具有精确余项

对于

$$V(x,y)=4x^2+2xy+9y^2,$$

有 $\nabla V=(8x+2y,2x+18y)^T$。若 $h=(u,v)^T$，直接展开得

$$V(x+u,y+v)-V(x,y)=\nabla V(x,y)\cdot h+4u^2+2uv+9v^2.$$

由 $|2uv|\le u^2+v^2$，余项的绝对值至多为 $5u^2+10v^2\le10\|h\|^2$。因此，在所选坐标尺度下，$\|h\|\le0.01$ 可保证误差不超过 $0.001$ 个输出单位。一阶项为零，不代表二次变化也为零。

沿保持预算的路径变化

设 $C(x,y)=x^2+3y^2$，且 $x+y=10$。经过 $(4,6)$ 的可行路径可取 $x(t)=4+t$、$y(t)=6-t$。链式法则给出

$$\frac{d}{dt}C(x(t),y(t))\bigg|_{t=0} =(2x,6y)\cdot(1,-1)\big|_{(4,6)}=8-36=-28.$$

沿这条指定可行路径，小的正 $t$ 使成本在一阶意义下降低。这一计算本身并未找出全局约束最优点。

练习与完整解答

P01. 设 $x=(1,-2,2)^T$、$y=(3,0,1)^T$，求 $x\cdot y$ 和 $\|x\|$。

解答。 $x\cdot y=3+0+2=5$，$\|x\|=\sqrt{1+4+4}=3$。

P02. 求 $f(x,y)=x^2y+\ln y$ 的梯度，并写出实定义域。

解答。 定义域为 $\mathbb R\times(0,\infty)$，梯度为 $(2xy,x^2+1/y)^T$。对数要求 $y>0$；求导不能取消这个限制。

P03. 对 $P(F,r)=F/(1+r)$，在 $(120,0.2)$ 处求 $P$、$P_F$、$P_r$。

解答。 $P=100$，$P_F=1/1.2=5/6$，$P_r=-120/(1.2)^2=-250/3$。

P04. 在 P03 的基点，若 $\Delta F=2$、$\Delta r=0.002$，估计函数变化，并解释利率单位。

解答。 估计为 $(5/6)(2)-(250/3)(0.002)=5/3-1/6=3/2$。利率增加 $0.002$，即 $0.2$ 个百分点，并非增加原利率的 $0.2\%$。

P05. 设 $f(x,y)=xy+y^2$、$x(t)=t^2$、$y(t)=1+t$，求 $f(x(t),y(t))$ 的导数，并展开验证。

解答。 $\nabla f=(y,x+2y)^T$，$x'=2t$，$y'=1$，故导数为 $2t(1+t)+t^2+2(1+t)=3t^2+4t+2$。展开得 $f=t^3+2t^2+2t+1$，求导得到相同结果。

P06. 求 $g(x,y)=(x+y,xy)^T$ 的雅可比矩阵，用它从 $(1,2)$ 处近似计算 $g(1.02,1.97)$，并与精确值比较。

解答。 $Dg=\begin{pmatrix}1&1\\y&x\end{pmatrix}$，所以 $Dg(1,2)=\begin{pmatrix}1&1\\2&1\end{pmatrix}$。位移 $h=(0.02,-0.03)^T$ 的预测变化为 $(-0.01,0.01)^T$，得到 $(2.99,2.01)^T$。第二个输出的精确值为 $1.02(1.97)=2.0094$，因此精确值减预测值为 $-0.0006$；第一个输出则完全精确。

P07. 在 $(1,2)$ 处，求 $f=x^2+2y^2$ 沿单位方向 $(3/5,4/5)^T$ 的方向导数。

解答。 梯度为 $(2x,4y)^T$，在该点为 $(2,8)^T$。与所给单位向量的内积为 $6/5+32/5=38/5$。

P08. 对 $Q(x,y)=x^2+2xy+4y^2$，求精确一阶余项，并证明其绝对值不超过 $5\|h\|^2$。

解答。 若 $h=(u,v)^T$，余项为 $u^2+2uv+4v^2$。其绝对值至多为 $u^2+2|uv|+4v^2\le2u^2+5v^2\le5(u^2+v^2)=5\|h\|^2$。除以 $\|h\|$ 后，余项比值趋于零。

P09. 用 $f(0,0)=0$、其余点 $f(x,y)=xy/(x^2+y^2)$ 反驳“两个偏导数存在，所以线性近似有效”。计算两条坐标轴的差商和对角线极限。

解答。 对两条坐标轴的限制均为零，所以对非零 $h$，$[f(h,0)-0]/h=0$、$[f(0,h)-0]/h=0$，两个偏导数均为零。但对 $t\ne0$，$f(t,t)=t^2/(2t^2)=1/2$，不趋于指定函数值零。因此函数在零点不连续，也就不可微。

P10. 设 $g(x,y)=(x+y,xy)^T$、$H(u,v)=u^2+v$。用雅可比矩阵乘法求 $D(H\circ g)$，再展开验证。

解答。 外层导数为 $DH(u,v)=(2u,1)$，所以

$$D(H\circ g)=(2(x+y),1)\begin{pmatrix}1&1\\y&x\end{pmatrix}=(2x+3y,3x+2y).$$

展开得 $(x+y)^2+xy=x^2+3xy+y^2$，其两个偏导数与上式一致。外层导数应在 $g(x,y)$ 处取值，并从左边乘内层雅可比矩阵。