多变量成本与约束选择

两种产品的模型需要两个边际变化率。保持另一产量不变而改变一个，与沿生产约束同时改变两者不同。偏导数描述坐标变化；全导数将它们组合；约束优化限制可行变化。

1 偏导数与全导数

定义

一点处的偏导数

设 $U\subseteq\mathbb R^n$ 为开集，$f:U\to\mathbb R$，且 $a\in U$。若有限极限

$$\partial_i f(a)=\lim_{t\to0}\frac{f(a+t e_i)-f(a)}{t}$$

存在，就称它为 $f$ 在 $a$ 处对第 $i$ 个变量的偏导数，也记为 $\frac{\partial f}{\partial x_i}(a)$。二元函数中通常写成 $f_x$ 和 $f_y$。

定义

梯度、重复偏导数与光滑性

当全部一阶偏导数在 $a$ 处存在时，定义梯度

$$\nabla f(a)=\bigl(\partial_1f(a),\ldots,\partial_nf(a)\bigr).$$

本节采用 $f_{xy}=\partial_y(f_x)$ 的约定，即先对 $x$ 求导，再对 $y$ 求导。若函数在开集上所有不超过 $r$ 阶的偏导数都存在且连续，就称它属于 $C^r$ 类。

定理

偏导数的代数运算法则

若 $f,g$ 在 $a$ 处都有第 $i$ 个偏导数，则

$$\partial_i(f+g)(a)=\partial_if(a)+\partial_ig(a),$$$$\partial_i(fg)(a)=g(a)\partial_if(a)+f(a)\partial_ig(a).$$

若另有 $g(a)\ne0$，则沿该坐标直线在 $a$ 附近商有定义，并且

$$\partial_i(f/g)(a) =\frac{g(a)\partial_if(a)-f(a)\partial_ig(a)}{g(a)^2}.$$

定义

带有线性余项的可微性

设 $U\subseteq\mathbb R^n$ 是开集，$F:U\to\mathbb R^m$。若存在一个线性映射 $A:\mathbb R^n\to\mathbb R^m$，使

$$F(a+h)=F(a)+Ah+R(h), \qquad \lim_{h\to0,\ h\ne0}\frac{\|R(h)\|}{\|h\|}=0,$$

就称 $F$ 在 $a\in U$ 处可微。这个映射称为导数，记为 $DF(a)$。简写 $R(h)=o(\|h\|)$ 表示上述余项极限成立。

定义

线性近似与全微分

$F$ 在 $a$ 处的线性近似是仿射函数

$$L_a(x)=F(a)+DF(a)(x-a).$$

对于实值可微函数，

$$DF(a)h=\sum_{i=1}^n\partial_if(a)h_i=\nabla f(a)\cdot h.$$

一阶预测变化称为全微分：

$$df_a=\sum_{i=1}^n\partial_if(a)\,dx_i.$$

定理

导数的必要结果与唯一性

若 $F$ 在 $a$ 处可微，则它在该点连续；各坐标偏导数存在，并等于 $DF(a)$ 的相应列。满足可微性定义的线性映射是唯一的。

证明

连续性、坐标导数与唯一性

有限维欧几里得空间上的线性映射满足 $\|Ah\|\le C\|h\|$，其中 $C$ 为某个常数。于是

$$\|F(a+h)-F(a)\|\le C\|h\|+\|R(h)\|\longrightarrow0.$$

因此 $F$ 在 $a$ 处连续。再令 $h=te_i$，把展开式除以 $t$，余项除以 $t$ 后趋于零，所得坐标偏导数就是 $Ae_i$。

若 $A,B$ 都满足定义，相减得 $(A-B)h=o(\|h\|)$。依次取 $h=te_i$，可得 $(A-B)e_i=0$。线性映射由它在基向量上的取值唯一确定，所以 $A=B$。

定理

连续一阶偏导数是充分条件

设 $f$ 定义在开集 $U$ 上。若各一阶偏导数在 $a$ 的某个邻域内存在，并在 $a$ 处连续，则 $f$ 在 $a$ 处可微。特别地，开集上的 $C^1$ 函数处处可微。向量值函数可以逐分量应用同一结论。

证明

连续偏导数为何控制所有方向

对二元函数，把总变化拆成两次坐标变化：

$$f(a+h,b+k)-f(a,b) =[f(a+h,b+k)-f(a,b+k)] +[f(a,b+k)-f(a,b)].$$

分别使用一元平均值定理，得到某些中间坐标 $\xi,\eta$，使总变化等于

$$f_x(\xi,b+k)h+f_y(a,\eta)k.$$

减去候选线性变化 $f_x(a,b)h+f_y(a,b)k$，再除以 $\sqrt{h^2+k^2}$。由于 $|h|,|k|$ 都不超过这个范数，余项比值至多为

$$|f_x(\xi,b+k)-f_x(a,b)|+ |f_y(a,\eta)-f_y(a,b)|.$$

中间点随 $(h,k)\to(0,0)$ 趋于 $(a,b)$，因此两个差都由连续性趋于零。某个坐标增量为零时，直接省去对应变化即可。更高维情形沿各坐标方向依次作同样的拆分。

例题

连续且有偏导数，仍不可微

定义

$$g(x,y)= \begin{cases} \dfrac{xy}{\sqrt{x^2+y^2}},&(x,y)\ne(0,0),\\ 0,&(x,y)=(0,0). \end{cases}$$

由 $|xy|\le(x^2+y^2)/2$，可得 $|g(x,y)|\le\sqrt{x^2+y^2}/2$，所以原点处连续。两条坐标限制恒为零，两个一阶偏导数也都是零。

若导数存在，坐标偏导数会迫使它为零映射，此时余项就是函数本身。然而沿 $(x,y)=(t,t)$，

$$\frac{|g(t,t)|}{\sqrt{t^2+t^2}}=\frac12$$

对每个非零 $t$ 都成立。余项没有比位移长度小一个阶，故原点处不可微。这个例子同时保留连续性与偏导数存在，因而准确指出缺少的是统一的一阶近似。

定义

指定方向上的导数

设 $f$ 定义在 $a\in\mathbb R^n$ 的开邻域内，$u$ 是单位向量。若有限双侧极限

$$D_uf(a)=\lim_{t\to0}\frac{f(a+tu)-f(a)}{t}$$

存在，就称它为沿 $u$ 的方向导数。因为 $\|u\|=1$，参数 $t$ 表示沿该直线的带符号距离。

定理

矩阵形式的链式法则

设 $F:U\subseteq\mathbb R^n\to\mathbb R^m$ 在 $a$ 处可微，$G:V\subseteq\mathbb R^m\to\mathbb R^p$ 在 $F(a)$ 处可微。假设 $U,V$ 为开集，且复合函数在 $a$ 附近有定义，则

$$D(G\circ F)(a)=DG(F(a))\,DF(a).$$

矩阵维数为 $(p\times m)(m\times n)=p\times n$。

证明

把两个线性近似连接起来

令 $A=DF(a)$、$b=F(a)$、$B=DG(b)$。对小位移，

$$F(a+h)=b+Ah+r(h),\qquad r(h)=o(\|h\|).$$

记 $\Delta=Ah+r(h)$。外层展开为

$$G(b+\Delta)=G(b)+B\Delta+s(\Delta), \qquad s(\Delta)=o(\|\Delta\|).$$

代入后，一阶项为 $BAh$，余项为 $Br(h)+s(\Delta)$。由线性映射的范数上界，充分小的 $h$ 满足 $\|\Delta\|\le C\|h\|$。所以 $Br(h)=o(\|h\|)$，外层余项估计也推出 $s(\Delta)=o(\|h\|)$；若 $\Delta=0$，该余项直接等于零。因此复合函数具有导数 $BA$。

定理

曲线变化率与梯度

若 $f$ 在 $a=\gamma(t_0)$ 处可微，且 $\gamma$ 在 $t_0$ 处可微，则

$$(f\circ\gamma)'(t_0)=\nabla f(a)\cdot\gamma'(t_0).$$

特别地，对单位向量 $u$，

$$D_uf(a)=\nabla f(a)\cdot u.$$

若 $\nabla f(a)\ne0$，最大的单位方向变化率为 $\|\nabla f(a)\|$，在方向 $\nabla f(a)/\|\nabla f(a)\|$ 取得；最小值为其相反数，在反方向取得。

对单位方向 $v$，方向导数为 $\nabla f\cdot v$。由柯西–施瓦茨不等式，它至多为 $\|\nabla f\|$，当梯度非零时在梯度方向取到。若问每单位距离的变化，方向必须单位化。

单位方向与最速变化率：证明

设 $U\subseteq\mathbb R^n$ 为开集，$a\in U$，实函数 $f:U\to\mathbb R$ 在 $a$ 可微，记 $g=\nabla f(a)$。对实单位向量 $v$，可微性给出 $f(a+tv)-f(a)=t(g\cdot v)+o(|t|)$，所以 $D_vf(a)=g\cdot v$。

所需的柯西–施瓦茨界直接来自平方非负：

$$0\le\|g-(g\cdot v)v\|^2=\|g\|^2-(g\cdot v)^2.$$

因此 $|D_vf(a)|\le\|g\|$；当且仅当 $g$ 是 $v$ 的标量倍数时取等号。若 $g\ne0$，最大值为 $\|g\|$，在 $v=g/\|g\|$ 取到；相反单位方向取得最小值 $-\|g\|$。若 $g=0$，每个单位方向的变化率均为零，没有唯一的最速方向。对非零 $w$，每单位距离的变化须使用 $v=w/\|w\|$；未归一化的 $g\cdot w$ 是每单位路径参数的变化率，会随路径速度缩放。

2 曲率与无约束极值

对二阶连续可微函数 $f$，Hessian 矩阵为

$$H_f=\begin{pmatrix}f_{xx}&f_{xy}\\f_{yx}&f_{yy}\end{pmatrix}.$$

在驻点 $a$，二阶展开为 $f(a+h)=f(a)+\tfrac12h^TH_f(a)h+o(\|h\|^2)$。Hessian 正定给出严格局部最小值，负定给出严格局部最大值，不定给出鞍点。半定情形需要进一步分析：$x^4+y^4$ 与 $x^4-y^4$ 在零有相同的零 Hessian，但行为不同。

对称 $2\times2$ 矩阵若左上元素和行列式均为正，则正定。配方可证明：$ax^2+2bxy+cy^2=a(x+by/a)^2+(ac-b^2)y^2/a$。

3 产品组合例子

考虑虚构的利润模型

$$\Pi(x,y)=20x+16y-x^2-xy-y^2,\qquad x,y\ge0.$$

驻点条件给出 $2x+y=20$、$x+2y=16$，故 $(x,y)=(8,4)$。Hessian 为 $\begin{pmatrix}-2&-1\\-1&-2\end{pmatrix}$。更强的是在 $(8,4)$ 附近展开得

$$\Pi(8+h,4+k)=112-(h^2+hk+k^2).$$

由于 $h^2+hk+k^2=(h+k/2)^2+3k^2/4>0$ 在零以外成立，即使不限制非负定义域，它也是唯一全局最大点；该点可行，所以也解决所述约束问题。

现在加入 $x+y=10$。以 $y=10-x$ 代入并取 $0\le x\le10$，得 $\Pi=60+14x-x^2$，最大值出现在 $x=7$、$y=3$，值为 109。等式约束改变了最优点。

另一方法是：在正则的内部约束最优点，对 $g=x+y-10$ 有 $\nabla\Pi=\lambda\nabla g$。因为每个满足 $\nabla g\cdot v=0$ 的切向量 $v$ 都必须满足 $\nabla\Pi\cdot v=0$，故两梯度平行。这是必要条件，不保证最大值。若有不等式或边界角点，代入并明确检查边界可能比无条件使用乘子更简单。

4 分层练习

E1 基础。 对 $C(x,y)=x^2+2xy+3y^2$，求梯度和 Hessian，估计从 $(1,2)$ 到 $(1.01,1.98)$ 的变化。

E2 链式法则。 若 $f(x,y)=xe^y$、$x(t)=t^2$、$y(t)=t$，用两种方法计算 $d f(x(t),y(t))/dt$。

E3 约束。 在 $x+y=12$、$x,y\ge0$ 下最大化 $xy$。解释为什么只检查 $\nabla(xy)=0$ 不够。

E4 曲率。 对 $x^2-y^2$ 和 $x^2+2xy+y^2$，分别分类原点。

5 详解

S1. $\nabla C=(2x+2y,2x+6y)$，故 $\nabla C(1,2)=(6,14)$。Hessian 为 $\begin{pmatrix}2&2\\2&6\end{pmatrix}$。线性估计为 $6(0.01)+14(-0.02)=-0.22$；精确变化还加上 $h^2+2hk+3k^2=0.0009$，故为 $-0.2191$。

S2. 复合得到 $t^2e^t$，其导数为 $2te^t+t^2e^t$。链式法则给出 $e^t(2t)+t^2e^t(1)$，结果相同。

S3. 代入 $y=12-x$，得 $xy=36-(x-6)^2$。唯一最大值为 36，在 $(6,6)$ 取得；端点给零。无约束梯度 $(y,x)$ 仅在 $(0,0)$ 为零，但该点不可行。约束问题由可行方向而非平面所有方向控制。

S4. $x^2-y^2$ 在任意接近零的地方都取正、负值，故原点是鞍点。$(x+y)^2$ 非负，所以原点是全局但非严格最小点；$y=-x$ 上每点都有相同值。半定 Hessian 不给出严格最小值。

总结

偏导数衡量坐标效应，可微性保证它们可合为线性近似。Hessian 分析曲率，约束限制可行方向。完整应用应检查可行性、边界与充分的最优性证据，而不是停在驻点方程。