几个方向上的变化率未必能组合成良好的线性近似。分析的核心问题是:一个线性映射能否控制所有充分小位移的误差,而不只是在选定直线上控制误差。这一区别是链式法则、泰勒估计和多元优化的基础。
1 范数、极限与导数
在有限维空间中使用欧氏范数。对开集 U ⊂ R n U\subset\mathbb R^n U ⊂ R n 和 f : U → R m f:U\to\mathbb R^m f : U → R m ,在 a a a 处连续是指当 ∥ x − a ∥ → 0 \|x-a\|\to0 ∥ x − a ∥ → 0 时 ∥ f ( x ) − f ( a ) ∥ → 0 \|f(x)-f(a)\|\to0 ∥ f ( x ) − f ( a ) ∥ → 0 。若存在线性映射 L L L 使
lim h → 0 ∥ f ( a + h ) − f ( a ) − L h ∥ ∥ h ∥ = 0. \lim_{h\to0}\frac{\|f(a+h)-f(a)-Lh\|}{\|h\|}=0. h → 0 lim ∥ h ∥ ∥ f ( a + h ) − f ( a ) − L h ∥ = 0.
则称映射在 a a a 处可微 。映射 L = D f ( a ) L=Df(a) L = D f ( a ) 称为全导数或 Fréchet 导数。它是唯一的:若 L L L 和 M M M 均满足条件,代入 h = t v h=tv h = t v ,对每个 v v v 得到 ∥ ( L − M ) v ∥ = 0 \|(L-M)v\|=0 ∥ ( L − M ) v ∥ = 0 。对 h = ∑ j = 1 n h j e j h=\sum_{j=1}^n h_je_j h = ∑ j = 1 n h j e j ,线性与三角不等式给出 ∥ L h ∥ ≤ ∑ j ∣ h j ∣ ∥ L e j ∥ ≤ ( ∑ j ∥ L e j ∥ ) ∥ h ∥ \|Lh\|\le\sum_j|h_j|\|Le_j\|\le(\sum_j\|Le_j\|)\|h\| ∥ L h ∥ ≤ ∑ j ∣ h j ∣∥ L e j ∥ ≤ ( ∑ j ∥ L e j ∥ ) ∥ h ∥ 。这直接证明有限维中的有界性。由导数定义便得到连续性。
雅可比矩阵的元素为 ∂ f i / ∂ x j \partial f_i/\partial x_j ∂ f i / ∂ x j 。通过考察 h = t e j h=te_j h = t e j 可知,可微蕴含这些偏导数存在且是 L L L 的矩阵元素。若所有偏导数在邻域中连续,则 f f f 在该邻域可微。对标量函数 f f f ,将增量分成 n n n 个坐标方向步骤,对每一步应用一元中值定理。得到的系数是在趋于 a a a 的点处的偏导数;连续性使误差至多为 ∑ o ( 1 ) ∣ h j ∣ = o ( ∥ h ∥ ) \sum o(1)|h_j|=o(\|h\|) ∑ o ( 1 ) ∣ h j ∣ = o ( ∥ h ∥ ) 。对向量值函数逐分量应用即可。
2 为什么直线检验可能失败
定义 f ( 0 , 0 ) = 0 f(0,0)=0 f ( 0 , 0 ) = 0 ,并令
f ( x , y ) = x 2 y x 2 + y 2 for ( x , y ) ≠ ( 0 , 0 ) . f(x,y)=\frac{x^2y}{x^2+y^2}\quad\text{for }(x,y)\ne(0,0). f ( x , y ) = x 2 + y 2 x 2 y for ( x , y ) = ( 0 , 0 ) .
因为 ∣ f ( x , y ) ∣ ≤ ∣ y ∣ |f(x,y)|\le|y| ∣ f ( x , y ) ∣ ≤ ∣ y ∣ ,它在原点连续。原点的两个坐标偏导数均为零。若它可微,则导数必为零。但沿 h = ( t , t ) h=(t,t) h = ( t , t ) 有 f ( t , t ) = t / 2 f(t,t)=t/2 f ( t , t ) = t /2 ,并且
∣ f ( t , t ) ∣ ∥ ( t , t ) ∥ = 1 2 2 , \frac{|f(t,t)|}{\|(t,t)\|}=\frac1{2\sqrt2}, ∥ ( t , t ) ∥ ∣ f ( t , t ) ∣ = 2 2 1 ,
它不趋于零。因此函数不可微。实际上每个方向导数都存在,但它们对方向的依赖不是线性的,这也是存在全导数的障碍。
3 控制误差的链式法则
定理。 若 f f f 在 a a a 处可微、g g g 在 f ( a ) f(a) f ( a ) 处可微,且复合函数在 a a a 附近有定义,则
D ( g ∘ f ) ( a ) = D g ( f ( a ) ) D f ( a ) . D(g\circ f)(a)=Dg(f(a))Df(a). D ( g ∘ f ) ( a ) = D g ( f ( a )) D f ( a ) .
证明。 写成 f ( a + h ) − f ( a ) = L h + r ( h ) f(a+h)-f(a)=Lh+r(h) f ( a + h ) − f ( a ) = L h + r ( h ) ,其中 r ( h ) = o ( ∥ h ∥ ) r(h)=o(\|h\|) r ( h ) = o ( ∥ h ∥ ) 。这一增量 k k k 是 O ( ∥ h ∥ ) O(\|h\|) O ( ∥ h ∥ ) 。第二个近似给出 g ( f ( a ) + k ) − g ( f ( a ) ) = M k + s ( k ) g(f(a)+k)-g(f(a))=Mk+s(k) g ( f ( a ) + k ) − g ( f ( a )) = M k + s ( k ) ,其中 s ( k ) = o ( ∥ k ∥ ) s(k)=o(\|k\|) s ( k ) = o ( ∥ k ∥ ) 。因此减去 M L h MLh M L h 后的余项为 M r ( h ) + s ( k ) = o ( ∥ h ∥ ) Mr(h)+s(k)=o(\|h\|) M r ( h ) + s ( k ) = o ( ∥ h ∥ ) 。当 k = 0 k=0 k = 0 时,第二个余项按定义为零,所以不需要除零的例外处理。□ \square □
对于 f ( x , y ) = ( x y , x + y ) f(x,y)=(xy,x+y) f ( x , y ) = ( x y , x + y ) 和 g ( u , v ) = u 2 + v g(u,v)=u^2+v g ( u , v ) = u 2 + v ,复合函数的导数为 ( 2 x y 2 + 1 , 2 x 2 y + 1 ) (2xy^2+1,2x^2y+1) ( 2 x y 2 + 1 , 2 x 2 y + 1 ) ;直接求 x 2 y 2 + x + y x^2y^2+x+y x 2 y 2 + x + y 的导数或相乘雅可比矩阵都可得到这个结果。
4 沿线段的中值定理
标量中值定理。 若线段 [ a , b ] [a,b] [ a , b ] 位于开定义域中,且 f : U → R f:U\to\mathbb R f : U → R 在其上可微,则存在 t ∈ ( 0 , 1 ) t\in(0,1) t ∈ ( 0 , 1 ) 使
f ( b ) − f ( a ) = D f ( a + t ( b − a ) ) ( b − a ) . f(b)-f(a)=Df(a+t(b-a))(b-a). f ( b ) − f ( a ) = D f ( a + t ( b − a )) ( b − a ) .
对 ϕ ( t ) = f ( a + t ( b − a ) ) \phi(t)=f(a+t(b-a)) ϕ ( t ) = f ( a + t ( b − a )) 应用一元中值定理,再由链式法则求导即可。向量值函数不一定存在单个点满足类似的向量等式:f ( t ) = ( cos t , sin t ) f(t)=(\cos t,\sin t) f ( t ) = ( cos t , sin t ) 在 [ 0 , 2 π ] [0,2\pi] [ 0 , 2 π ] 上总增量为零,但导数从不为零。
向量值情形有如下有效估计:若 f f f 沿线段为 C 1 C^1 C 1 ,且 ∥ D f ( x ) ∥ o p ≤ M \|Df(x)\|_{\rm op}\le M ∥ D f ( x ) ∥ op ≤ M ,则
∥ f ( b ) − f ( a ) ∥ ≤ M ∥ b − a ∥ . \|f(b)-f(a)\|\le M\|b-a\|. ∥ f ( b ) − f ( a ) ∥ ≤ M ∥ b − a ∥.
逐分量积分路径的导数并使用范数不等式即可证明。若同一个常数 M M M 在开凸定义域的每个 x x x 处都控制 ∥ D f ( x ) ∥ o p \|Df(x)\|_{\rm op} ∥ D f ( x ) ∥ op ,则估计适用于任意连接线段,给出该定义域上的全局 Lipschitz 常数 M M M 。只在某一条线段上另行选出的界,并非全局界。不连通或非凸定义域未必包含所需线段。
练习与完整解答
E1 基础。 从定义直接证明 f ( x , y ) = x y f(x,y)=xy f ( x , y ) = x y 在 ( a , b ) (a,b) ( a , b ) 处可微。
S1. 位移 ( h , k ) (h,k) ( h , k ) 对应的增量为 b h + a k + h k bh+ak+hk bh + ak + hk 。线性部分为 b h + a k bh+ak bh + ak ,且 ∣ h k ∣ ≤ ( h 2 + k 2 ) / 2 |hk|\le(h^2+k^2)/2 ∣ hk ∣ ≤ ( h 2 + k 2 ) /2 ,因此余项除以 h 2 + k 2 \sqrt{h^2+k^2} h 2 + k 2 趋于零。
E2 反例。 对第 2 节的函数,计算单位向量 v = ( p , q ) v=(p,q) v = ( p , q ) 方向的方向导数,说明它不是 v v v 的线性函数。
S2. 对 v ≠ 0 v\ne0 v = 0 ,f ( t p , t q ) / t = p 2 q / ( p 2 + q 2 ) f(tp,tq)/t=p^2q/(p^2+q^2) f ( tp , tq ) / t = p 2 q / ( p 2 + q 2 ) ;对于单位向量则为 p 2 q p^2q p 2 q 。它在两个坐标方向均为零,但在 ( 1 , 1 ) / 2 (1,1)/\sqrt2 ( 1 , 1 ) / 2 处非零,所以不可能是线性泛函。该公式扩展到任意非零方向时是齐次但不具有可加性的函数。
E3 估计。 对 R ≥ 0 R\ge0 R ≥ 0 ,证明 f ( x , y ) = ( x 2 , y 2 ) f(x,y)=(x^2,y^2) f ( x , y ) = ( x 2 , y 2 ) 在正方形 [ − R , R ] 2 [-R,R]^2 [ − R , R ] 2 上是 Lipschitz 连续的,常数为 2 R 2R 2 R 。
S3. 当 R ≥ 0 R\ge0 R ≥ 0 时,雅可比矩阵为 diag ( 2 x , 2 y ) \operatorname{diag}(2x,2y) diag ( 2 x , 2 y ) ,其算子范数至多为 2 R 2R 2 R 。正方形内两点间的线段均位于正方形内,因此可应用线段估计。也可直接对每个平方差估计,再把界平方求和。
E4 证明。 若在凸开集上 D f = 0 Df=0 D f = 0 ,证明 f f f 在该集合上为常数,包括向量值的 f f f 。
S4. 对集合中任意 a , b a,b a , b ,把每个分量限制在线段上。其一元导数为零,因此由中值定理两端的分量值相同。故 f ( a ) = f ( b ) f(a)=f(b) f ( a ) = f ( b ) 。
总结
可微性是由单个线性映射给出的统一一阶近似。仅有偏导数或方向导数并不能保证可微。线段论证使一元定理得以谨慎推广,但不能混淆标量等式与向量范数估计。