泰勒近似、极值与 Lagrange 乘数

工程最优解必须满足物理约束，而不只是导数方程。驻点可以是最大值、最小值或鞍点，实际最优解也可能在边界上。泰勒展开分类局部行为；紧性和边界分析确立全局结果。

1 二阶近似

对 $a\in\mathbb R^n$ 的邻域上的 $C^2$ 函数，

$$f(a+h)=f(a)+\nabla f(a)\cdot h+\tfrac12h^TH_f(a)h+o(\|h\|^2).$$

为证明它，对 $\phi(t)=f(a+th)$ 使用一元微积分。两次积分导数得到余项 $\int_0^1(1-t)h^TH_f(a+th)hdt$。由连续性，将 Hessian 矩阵换成其在 $a$ 处的值产生 $o(\|h\|^2)$。该论证要求短线段留在定义域内。

在内部可微局部极值点，梯度为零：限制到每条坐标直线并使用一元必要条件。在二维驻点处，记 $D=f_{xx}f_{yy}-f_{xy}^2$。若 $D>0$ 且 $f_{xx}>0$，Hessian 二次型正定，得到严格局部最小值；若 $D>0$ 且 $f_{xx}<0$，得到严格局部最大值。若 $D<0$，存在正负两个方向，是鞍点。若 $D=0$，检验不能判定。

正定情形的证明。 配方使二次型在每个非零向量上为正；它在单位圆上的最小值为某个 $\mu>0$。对充分小的 $h$，泰勒误差的绝对值小于 $\mu\|h\|^2/4$，小于正二次项的一半。因此函数在每个非零小位移下增大。另一个定号情形可取负得到；正负方向证明鞍点情形。$\square$

2 闭区域上的全局优化

非空紧集上的连续函数取得最大值和最小值。要在平面区域中求它们，可收集内部驻点、通过参数化或约束得到的边界驻点，以及角点或奇异边界点，再比较实际函数值。

圆盘例。 在 $x^2+y^2\le1$ 上优化 $f(x,y)=x^2+y^2-x$。唯一内部驻点是 $(1/2,0)$，函数值为 $-1/4$。其 Hessian 矩阵为 $2I$，故是严格局部最小值。在边界上 $f=1-x$，其中 $-1\le x\le1$，故范围为 0 到 2。因此全局最小值为 $(1/2,0)$ 处的 $-1/4$，全局最大值为 $(-1,0)$ 处的 2。边界分析不可省略：无约束函数在整个平面上没有全局最大值。

也可由 $f=(x-1/2)^2+y^2-1/4$ 直接证明同一最小值。第二个独立论证常是优化代数的有用检验。

3 等式约束与正则性

Lagrange 乘数条件。 假设 $f,g$ 在 $a$ 附近为 $C^1$，$g(a)=c$ 且 $\nabla g(a)\ne0$。若限制在 $g=c$ 上的 $f$ 在该点取得局部极值，则存在实数 $\lambda$ 使 $\nabla f(a)=\lambda\nabla g(a)$。

对平面曲线，隐函数定理给出局部参数化图像。其切向量恰是与 $\nabla g$ 垂直的方向。沿图像对 $f$ 求导，说明 $\nabla f$ 也与这些切方向垂直，因此属于 $\nabla g$ 的一维法向张成空间，条件得证。高维正则约束使用相应的切空间论证。

椭圆例。 在 $x^2+4y^2=4$ 上优化 $xy$。约束集紧且正则。乘数方程是 $y=2\lambda x$ 和 $x=8\lambda y$。驻点解的两个坐标均不能为零：一个为零将迫使另一个也为零，违反约束。因此 $16\lambda^2=1$ 且 $x=\pm2y$。约束给出 $x=\pm\sqrt2$、$y=\pm1/\sqrt2$。同号给出最大值 1，异号给出最小值 $-1$。

可用 $(x-2y)^2\ge0$ 和 $(x+2y)^2\ge0$ 检验：在椭圆上它们蕴含 $-1\le xy\le1$。Lagrange 方程是必要条件，单独使用并不充分。如果约束梯度为零或出现角点，定理给出的候选列表不完整，必须另行检查这些点。

恰在 $C^2$ 假设下的完整二阶估计

设实函数 $f$ 在 $a\in\mathbb R^n$ 的开邻域上为 $C^2$。取 $r>0$ 使半径为 $r$ 的闭球位于其中。对 $\|h\|<r$，令 $\phi(t)=f(a+th)$，$0\le t\le1$。链式法则给出 $\phi''(t)=h^TH_f(a+th)h$。分部积分，或对 $(1-t)\phi'(t)$ 使用微积分基本定理，得到

$$f(a+h)-f(a)-Df(a)h=\int_0^1(1-t)h^TH_f(a+th)h\,dt.$$

减去 $\tfrac12h^TH_f(a)h$ 后，剩余项 $R(h)$ 满足

$$|R(h)|\le\frac{\|h\|^2}{2}\sup_{0\le t\le1}\|H_f(a+th)-H_f(a)\|_{\rm op}.$$

因对所有 $t$ 均有 $\|th\|\le\|h\|$，在 $a$ 的连续性使这个上确界趋于零。因此 $R(h)=o(\|h\|^2)$，无需三阶导数。若线段上 $\|H_f\|_{\rm op}\le M$，第一个等式还给出一阶误差界 $M\|h\|^2/2$。

为完整起见，Hessian 的对称性可直接由 $C^2$ 推出。固定不同坐标 $i,j$，作矩形差分

$$D(h,k)=f(a+he_i+ke_j)-f(a+he_i)-f(a+ke_j)+f(a).$$

先对坐标 $i$、再对 $j$ 使用一元微积分基本定理，将 $D(h,k)$ 表为 $\partial_j\partial_i f$ 在该矩形上的累次积分。按相反次序进行同样论证，则同一个差分是 $\partial_i\partial_j f$ 的累次积分。对非零 $h,k$ 除以 $hk$；连续性使各自的平均值趋于 $a$ 处相应的混合偏导数，所以二者相等。这里比较的是同一个有限差分的两次计算，没有预先假设积分可交换。

任意有限维数下单个约束条件的完整证明

下面的局部逆与隐函数证明给出所需的一般维数存在性结论；随后的乘数论证只用它的标量隐函数情形。相关向量空间均为实有限维空间，邻域均为开集。

学习目标与设定

证明局部可逆性，而不只对形式上假定存在的逆映射求导。全程使用欧几里得范数及其诱导的算子范数。设 $U\subseteq\mathbb R^n$ 为开集，$F:U\to\mathbb R^n$ 为 $C^1$，$a\in U$，$b=F(a)$，且 $A=DF(a)$ 可逆。我们将证明存在 $a$ 的开邻域 $W$ 和 $b$ 的开邻域 $V$，使 $F:W\to V$ 成为一个 $C^1$ 双射，其逆映射的导数等于 $[DF]^{-1}$。

引理：闭球上的压缩映射

若映射 $T$ 将非空欧几里得闭球 $B$ 映入自身，并且对固定的 $0\le q<1$ 满足 $\|T(x)-T(y)\|\le q\|x-y\|$，那么它在 $B$ 中有唯一不动点。

证明。 从任意 $x_0\in B$ 出发，定义 $x_{k+1}=T(x_k)$。若 $q=0$，不等式使 $T$ 为常值映射，其值是第一次迭代即达到的唯一不动点。对 $0<q<1$，反复应用压缩条件得到 $\|x_{k+1}-x_k\|\le q^k\|x_1-x_0\|$。对于 $m>k$，对连续差求和得到 $\|x_m-x_k\|$ 的上界 $q^k\|x_1-x_0\|/(1-q)$，所以该数列是柯西列。逐坐标的实数完备性给出 $\mathbb R^n$ 中的极限，而闭性使极限留在 $B$ 中。压缩条件蕴含连续性，所以对 $x_{k+1}=T(x_k)$ 取极限可知极限为不动点。两个不动点之间的距离至多为该距离的 $q$ 倍，只能为零。这一证明也给出到极限的所述几何误差界。

局部逆的存在性与唯一性

由 $DF$ 的连续性，可以选择 $r>0$，使闭球 $B=\overline B(a,r)\subset U$ 且

$$\|I-A^{-1}DF(y)\|\le q=\frac12\quad\text{for all }y\in B.$$

对靠近 $b$ 的目标点 $x$，令 $T_x(y)=y-A^{-1}(F(y)-x)$。它在凸球上的导数范数至多为 $q$。沿线段应用一元微积分基本定理，得到 $\|T_x(y)-T_x(z)\|\le q\|y-z\|$。此外，

$$\|T_x(y)-a\|\le q\|y-a\|+\|A^{-1}(x-b)\|.$$

选取 $V=B(b,\rho)$，其中 $\rho=(1-q)r/(2\|A^{-1}\|)$。当 $x\in V$ 时，第二项小于 $(1-q)r/2$，故 $T_x$ 将 $B$ 映入自身。引理给出唯一的 $y=H(x)\in B$，满足 $F(y)=x$。在 $a$ 处的不动点估计给出

$$\|H(x)-a\|\le\frac{\|A^{-1}(x-b)\|}{1-q}<r/2,$$

所以这些解均为内点。令 $W=B(a,r)\cap F^{-1}(V)$。它是开集，包含 $a$，且 $F:W\to V$ 为双射，因为即使在更大的闭球上解也唯一。

逆映射的连续性与可微性

对 $x,z\in V$ 比较不动点方程：

$$\|H(x)-H(z)\|\le q\|H(x)-H(z)\|+\|A^{-1}\|\|x-z\|.$$

因此 $H$ 是 Lipschitz 映射，常数为 $\|A^{-1}\|/(1-q)$。对 $y\in B$，矩阵 $A^{-1}DF(y)=I-E$ 满足 $\|E\|\le q<1$。收敛的矩阵级数 $\sum_{k=0}^{\infty}E^k$ 是其逆：有限部分和相乘得到 $I-E^{N+1}$，它趋于 $I$。故 $DF(y)$ 在整个 $B$ 上可逆。

固定 $x\in V$，令 $y=H(x)$，并取充分小的增量 $k$，使 $x+k\in V$。设 $h=H(x+k)-H(x)$。由 $F$ 的可微性，$k=DF(y)h+o(\|h\|)$。Lipschitz 估计给出 $\|h\|=O(\|k\|)$，因此解得

$$h=[DF(y)]^{-1}k+o(\|k\|).$$

所以 $DH(x)=[DF(H(x))]^{-1}$。逆矩阵连续变化：伴随矩阵除以行列式的公式在行列式非零处连续。结合 $DF$ 和 $H$ 的连续性，证明 $H$ 是 $C^1$。定理现已证明，包括存在性、唯一性、邻域与正则性。

隐函数作为推论

设 $G:\mathbb R^{p+m}\supset U\to\mathbb R^m$ 为 $C^1$，$G(a,c)=0$，且 $D_yG(a,c)$ 可逆。定义 $\Phi(x,y)=(x,G(x,y))$。其分块导数为

$$D\Phi=\begin{pmatrix}I&0\\D_xG&D_yG\end{pmatrix},$$

它在 $(a,c)$ 处可逆。已证明的逆函数定理给出局部 $C^1$ 逆映射。将邻域缩小为乘积邻域，使求解 $\Phi(x,y)=(x,0)$ 定义唯一的 $y=\varphi(x)$，并包含该乘积邻域内每一个零点。存在性成立后，对恒等式求导得到

$$D\varphi(x)=-[D_yG(x,\varphi(x))]^{-1}D_xG(x,\varphi(x)).$$

解矩阵方程确定了因子的次序，不能颠倒。

局部存在成立后推导乘数

重新排列坐标，将 $a$ 写作 $(a',a_n)$，使 $g_{x_n}(a)\ne0$。对 $n\ge2$，将刚证明的标量隐函数定理用于 $g(x',y)-c$。在 $a$ 附近，可行集恰为 $y=\varphi(x')$，且 $\varphi_{x_j}=-g_{x_j}/g_{x_n}$。限制函数 $x'\mapsto f(x',\varphi(x'))$ 在内点 $a'$ 取得局部极值，所以对每个 $j<n$，

$$0=f_{x_j}(a)+f_{x_n}(a)\varphi_{x_j}(a') =f_{x_j}(a)-\frac{f_{x_n}(a)}{g_{x_n}(a)}g_{x_j}(a).$$

令 $\lambda=f_{x_n}(a)/g_{x_n}(a)$。这些等式给出 $\nabla f=\lambda\nabla g$ 的前 $n-1$ 个分量，最后一个分量来自 $\lambda$ 的定义。若 $n=1$，单凭这个定义便证明结论。这就对每个有限维数中的单个正则标量约束证明了所述必要条件。它不适用于 $\nabla g=0$，也不是充分条件或关于多个相依约束的定理。

4 分级练习

E1 基础。 分类 $f(x,y)=x^2-2xy+3y^2-4x$ 的驻点。

E2 边界。 求 $f(x,y)=x+y$ 在 $x,y\ge0$、$x+y\le3$ 上的最大值和最小值。

E3 约束。 在 $xy=4$、$x,y>0$ 下最小化 $x^2+y^2$。是否存在最大值？

E4 退化性。 比较 $x^4+y^4$、$x^4-y^4$ 和 $-x^4-y^4$ 在原点的情况。Hessian 检验能说什么？

5 完整解答

S1. 驻点条件给出 $2x-2y=4$、$-2x+6y=0$，故点为 $(3,1)$。Hessian 矩阵 $\begin{pmatrix}2&-2\\-2&6\end{pmatrix}$ 的行列式为 8，首项为正，因此该点是严格局部最小值。平移得 $f(3+h,1+k)=-6+h^2-2hk+3k^2$，证明它是唯一全局最小值点，值为 $-6$。

S2. 目标函数本身介于 0 和 3 之间。最小值 0 在 $(0,0)$ 处取得；最大值 3 沿整条边 $x+y=3$ 取得，而不只是端点。边界最优解不必唯一，也不必是整个平面内的驻点。

S3. $(x-y)^2\ge0$ 给出 $x^2+y^2\ge2xy=8$，在 $(2,2)$ 处等号成立，证明全局最小值。没有最大值：当 $x\to\infty$ 时，$y=4/x$ 仍可行，而 $x^2+16/x^2\to\infty$。可行集不紧。

S4. 三者在零处梯度和 Hessian 均为零，因此二阶导数检验不能判定。直接比较符号分别得到严格全局最小值、鞍点和严格全局最大值。高阶项决定这些情况。

总结

泰勒二次项分类非退化驻点。全局优化需要完整分析可行候选点，包括边界和例外点。Lagrange 乘数编码正则约束方向，但不能省去存在性、可行性和最优性充分条件的检查。