幾個方向上的變化率未必能組合成良好的線性近似。分析的核心問題是:一個線性映射能否控制所有充分小位移的誤差,而不只是在選定直線上控制誤差。這一區別是鏈式法則、泰勒估計和多元優化的基礎。
1 範數、極限與導數
在有限維空間中使用歐氏範數。對開集 U ⊂ R n U\subset\mathbb R^n U ⊂ R n 和 f : U → R m f:U\to\mathbb R^m f : U → R m ,在 a a a 處連續是指當 ∥ x − a ∥ → 0 \|x-a\|\to0 ∥ x − a ∥ → 0 時 ∥ f ( x ) − f ( a ) ∥ → 0 \|f(x)-f(a)\|\to0 ∥ f ( x ) − f ( a ) ∥ → 0 。若存在線性映射 L L L 使
lim h → 0 ∥ f ( a + h ) − f ( a ) − L h ∥ ∥ h ∥ = 0. \lim_{h\to0}\frac{\|f(a+h)-f(a)-Lh\|}{\|h\|}=0. h → 0 lim ∥ h ∥ ∥ f ( a + h ) − f ( a ) − L h ∥ = 0.
則稱映射在 a a a 處可微 。映射 L = D f ( a ) L=Df(a) L = D f ( a ) 稱為全導數或 Fréchet 導數。它是唯一的:若 L L L 和 M M M 均滿足條件,代入 h = t v h=tv h = t v ,對每個 v v v 得到 ∥ ( L − M ) v ∥ = 0 \|(L-M)v\|=0 ∥ ( L − M ) v ∥ = 0 。對 h = ∑ j = 1 n h j e j h=\sum_{j=1}^n h_je_j h = ∑ j = 1 n h j e j ,線性與三角不等式給出 ∥ L h ∥ ≤ ∑ j ∣ h j ∣ ∥ L e j ∥ ≤ ( ∑ j ∥ L e j ∥ ) ∥ h ∥ \|Lh\|\le\sum_j|h_j|\|Le_j\|\le(\sum_j\|Le_j\|)\|h\| ∥ L h ∥ ≤ ∑ j ∣ h j ∣∥ L e j ∥ ≤ ( ∑ j ∥ L e j ∥ ) ∥ h ∥ 。這直接證明有限維中的有界性。由導數定義便得到連續性。
雅可比矩陣的元素為 ∂ f i / ∂ x j \partial f_i/\partial x_j ∂ f i / ∂ x j 。通過考察 h = t e j h=te_j h = t e j 可知,可微蘊含這些偏導數存在且是 L L L 的矩陣元素。若所有偏導數在鄰域中連續,則 f f f 在該鄰域可微。對標量函數 f f f ,將增量分成 n n n 個坐標方向步驟,對每一步應用一元中值定理。得到的系數是在趨於 a a a 的點處的偏導數;連續性使誤差至多為 ∑ o ( 1 ) ∣ h j ∣ = o ( ∥ h ∥ ) \sum o(1)|h_j|=o(\|h\|) ∑ o ( 1 ) ∣ h j ∣ = o ( ∥ h ∥ ) 。對向量值函數逐分量應用即可。
2 為甚麼直線檢驗可能失敗
定義 f ( 0 , 0 ) = 0 f(0,0)=0 f ( 0 , 0 ) = 0 ,並令
f ( x , y ) = x 2 y x 2 + y 2 for ( x , y ) ≠ ( 0 , 0 ) . f(x,y)=\frac{x^2y}{x^2+y^2}\quad\text{for }(x,y)\ne(0,0). f ( x , y ) = x 2 + y 2 x 2 y for ( x , y ) = ( 0 , 0 ) .
因為 ∣ f ( x , y ) ∣ ≤ ∣ y ∣ |f(x,y)|\le|y| ∣ f ( x , y ) ∣ ≤ ∣ y ∣ ,它在原點連續。原點的兩個坐標偏導數均為零。若它可微,則導數必為零。但沿 h = ( t , t ) h=(t,t) h = ( t , t ) 有 f ( t , t ) = t / 2 f(t,t)=t/2 f ( t , t ) = t /2 ,並且
∣ f ( t , t ) ∣ ∥ ( t , t ) ∥ = 1 2 2 , \frac{|f(t,t)|}{\|(t,t)\|}=\frac1{2\sqrt2}, ∥ ( t , t ) ∥ ∣ f ( t , t ) ∣ = 2 2 1 ,
它不趨於零。因此函數不可微。實際上每個方向導數都存在,但它們對方向的依賴不是線性的,這也是存在全導數的障礙。
3 控制誤差的鏈式法則
定理。 若 f f f 在 a a a 處可微、g g g 在 f ( a ) f(a) f ( a ) 處可微,且複合函數在 a a a 附近有定義,則
D ( g ∘ f ) ( a ) = D g ( f ( a ) ) D f ( a ) . D(g\circ f)(a)=Dg(f(a))Df(a). D ( g ∘ f ) ( a ) = D g ( f ( a )) D f ( a ) .
證明。 寫成 f ( a + h ) − f ( a ) = L h + r ( h ) f(a+h)-f(a)=Lh+r(h) f ( a + h ) − f ( a ) = L h + r ( h ) ,其中 r ( h ) = o ( ∥ h ∥ ) r(h)=o(\|h\|) r ( h ) = o ( ∥ h ∥ ) 。這一增量 k k k 是 O ( ∥ h ∥ ) O(\|h\|) O ( ∥ h ∥ ) 。第二個近似給出 g ( f ( a ) + k ) − g ( f ( a ) ) = M k + s ( k ) g(f(a)+k)-g(f(a))=Mk+s(k) g ( f ( a ) + k ) − g ( f ( a )) = M k + s ( k ) ,其中 s ( k ) = o ( ∥ k ∥ ) s(k)=o(\|k\|) s ( k ) = o ( ∥ k ∥ ) 。因此減去 M L h MLh M L h 後的餘項為 M r ( h ) + s ( k ) = o ( ∥ h ∥ ) Mr(h)+s(k)=o(\|h\|) M r ( h ) + s ( k ) = o ( ∥ h ∥ ) 。當 k = 0 k=0 k = 0 時,第二個餘項按定義為零,所以不需要除零的例外處理。□ \square □
對於 f ( x , y ) = ( x y , x + y ) f(x,y)=(xy,x+y) f ( x , y ) = ( x y , x + y ) 和 g ( u , v ) = u 2 + v g(u,v)=u^2+v g ( u , v ) = u 2 + v ,複合函數的導數為 ( 2 x y 2 + 1 , 2 x 2 y + 1 ) (2xy^2+1,2x^2y+1) ( 2 x y 2 + 1 , 2 x 2 y + 1 ) ;直接求 x 2 y 2 + x + y x^2y^2+x+y x 2 y 2 + x + y 的導數或相乘雅可比矩陣都可得到這個結果。
4 沿線段的中值定理
標量中值定理。 若線段 [ a , b ] [a,b] [ a , b ] 位於開定義域中,且 f : U → R f:U\to\mathbb R f : U → R 在其上可微,則存在 t ∈ ( 0 , 1 ) t\in(0,1) t ∈ ( 0 , 1 ) 使
f ( b ) − f ( a ) = D f ( a + t ( b − a ) ) ( b − a ) . f(b)-f(a)=Df(a+t(b-a))(b-a). f ( b ) − f ( a ) = D f ( a + t ( b − a )) ( b − a ) .
對 ϕ ( t ) = f ( a + t ( b − a ) ) \phi(t)=f(a+t(b-a)) ϕ ( t ) = f ( a + t ( b − a )) 應用一元中值定理,再由鏈式法則求導即可。向量值函數不一定存在單個點滿足類似的向量等式:f ( t ) = ( cos t , sin t ) f(t)=(\cos t,\sin t) f ( t ) = ( cos t , sin t ) 在 [ 0 , 2 π ] [0,2\pi] [ 0 , 2 π ] 上總增量為零,但導數從不為零。
向量值情形有如下有效估計:若 f f f 沿線段為 C 1 C^1 C 1 ,且 ∥ D f ( x ) ∥ o p ≤ M \|Df(x)\|_{\rm op}\le M ∥ D f ( x ) ∥ op ≤ M ,則
∥ f ( b ) − f ( a ) ∥ ≤ M ∥ b − a ∥ . \|f(b)-f(a)\|\le M\|b-a\|. ∥ f ( b ) − f ( a ) ∥ ≤ M ∥ b − a ∥.
逐分量積分路徑的導數並使用範數不等式即可證明。若同一個常數 M M M 在開凸定義域的每個 x x x 處都控制 ∥ D f ( x ) ∥ o p \|Df(x)\|_{\rm op} ∥ D f ( x ) ∥ op ,則估計適用於任意連接線段,給出該定義域上的全局 Lipschitz 常數 M M M 。只在某一條線段上另行選出的界,並非全局界。不連通或非凸定義域未必包含所需線段。
練習與完整解答
E1 基礎。 從定義直接證明 f ( x , y ) = x y f(x,y)=xy f ( x , y ) = x y 在 ( a , b ) (a,b) ( a , b ) 處可微。
S1. 位移 ( h , k ) (h,k) ( h , k ) 對應的增量為 b h + a k + h k bh+ak+hk bh + ak + hk 。線性部分為 b h + a k bh+ak bh + ak ,且 ∣ h k ∣ ≤ ( h 2 + k 2 ) / 2 |hk|\le(h^2+k^2)/2 ∣ hk ∣ ≤ ( h 2 + k 2 ) /2 ,因此餘項除以 h 2 + k 2 \sqrt{h^2+k^2} h 2 + k 2 趨於零。
E2 反例。 對第 2 節的函數,計算單位向量 v = ( p , q ) v=(p,q) v = ( p , q ) 方向的方向導數,說明它不是 v v v 的線性函數。
S2. 對 v ≠ 0 v\ne0 v = 0 ,f ( t p , t q ) / t = p 2 q / ( p 2 + q 2 ) f(tp,tq)/t=p^2q/(p^2+q^2) f ( tp , tq ) / t = p 2 q / ( p 2 + q 2 ) ;對於單位向量則為 p 2 q p^2q p 2 q 。它在兩個坐標方向均為零,但在 ( 1 , 1 ) / 2 (1,1)/\sqrt2 ( 1 , 1 ) / 2 處非零,所以不可能是線性泛函。該公式擴展到任意非零方向時是齊次但不具有可加性的函數。
E3 估計。 對 R ≥ 0 R\ge0 R ≥ 0 ,證明 f ( x , y ) = ( x 2 , y 2 ) f(x,y)=(x^2,y^2) f ( x , y ) = ( x 2 , y 2 ) 在正方形 [ − R , R ] 2 [-R,R]^2 [ − R , R ] 2 上是 Lipschitz 連續的,常數為 2 R 2R 2 R 。
S3. 當 R ≥ 0 R\ge0 R ≥ 0 時,雅可比矩陣為 diag ( 2 x , 2 y ) \operatorname{diag}(2x,2y) diag ( 2 x , 2 y ) ,其算子範數至多為 2 R 2R 2 R 。正方形內兩點間的線段均位於正方形內,因此可應用線段估計。也可直接對每個平方差估計,再把界平方求和。
E4 證明。 若在凸開集上 D f = 0 Df=0 D f = 0 ,證明 f f f 在該集合上為常數,包括向量值的 f f f 。
S4. 對集合中任意 a , b a,b a , b ,把每個分量限制在線段上。其一元導數為零,因此由中值定理兩端的分量值相同。故 f ( a ) = f ( b ) f(a)=f(b) f ( a ) = f ( b ) 。
總結
可微性是由單個線性映射給出的統一一階近似。僅有偏導數或方向導數並不能保證可微。線段論證使一元定理得以謹慎推廣,但不能混淆標量等式與向量範數估計。