中值估計與泰勒近似

為甚麼看線段？

導數提供局部資訊。若要比較兩點的函數值，或量化近似誤差，可用線段連接兩點，再對所得的一元複合函數應用微積分。整條線段必須留在定義域內；單靠不連通定義域上的導數界，不能比較不同連通部分的值。本節 $a,h\in\mathbb R^n$，除非另有說明，$f$ 是實值函數；$[a,a+h]$ 指整條線段。

中值定理與估計

定理

一元中值定理

若 $\phi$ 在 $[0,1]$ 上連續、在 $(0,1)$ 上可微，則存在 $c\in(0,1)$，使 $\phi(1)-\phi(0)=\phi'(c)$。

設 $f$ 在包含 $[a,b]$ 的開集上可微，令 $\phi(t)=f(a+t(b-a))$。鏈式法則給出某個 $c\in(0,1)$，使

$$f(b)-f(a)=\nabla f(a+c(b-a))\cdot(b-a).$$

特別地，若線段上 $\|\nabla f\|\le M$，則

$$|f(b)-f(a)|\le M\|b-a\|.$$

上面的同一中間點等式只適用於實值函數。對向量值 $F$，不可假設存在一個共同中間點使 $F(b)-F(a)=DF(\xi)(b-a)$；不同分量可能需要不同中間點。若線段上 $\|DF(x)\|_{\rm op}\le M$，仍可得到 $\|F(b)-F(a)\|\le M\|b-a\|$；例如在 $F$ 屬 $C^1$ 時，可沿線段積分 $DF(a+t(b-a))(b-a)$。

證明

線段估計的證明

該複合函數在 $[0,1]$ 連續、內部可微。應用一元定理、鏈式法則及柯西—施瓦茨不等式即可。若整個凸定義域上的梯度都有同一界，便得到 Lipschitz 條件，因為任意兩點間的線段均留在定義域內。

例題

不必找出中間點

令 $f(x,y)=\sin(xy)$，定義在 $[-1,1]^2$。由 $\nabla f=(y\cos(xy),x\cos(xy))$，得 $\|\nabla f\|\le\sqrt2$。取 $a=(0,1)$、$b=(0.02,0.97)$，線段都在方形內，因此

$$|f(b)-f(a)|\le\sqrt2\sqrt{0.02^2+(-0.03)^2}=\sqrt{0.0026}.$$

這個界是可靠的，但不一定最精確，亦無須猜中間點。

泰勒多項式

定義

海森矩陣與二階泰勒多項式

若 $f$ 在 $a$ 附近屬 $C^2$，其海森矩陣為 $H_f(a)=(\partial_i\partial_j f(a))_{i,j}$。以 $h$ 表示位移，$a$ 處的二階泰勒多項式為

$$T_2(a+h)=f(a)+\nabla f(a)\cdot h+\tfrac12h^TH_f(a)h.$$

二元情況 $h=(u,v)$ 的二次項為 $\tfrac12(f_{xx}u^2+2f_{xy}uv+f_{yy}v^2)$，所有偏導數均在 $a$ 評估。

定理

二階泰勒展開

若 $f$ 在 $a$ 附近屬 $C^2$，則當 $h\to0$ 時，

$$f(a+h)=T_2(a+h)+o(\|h\|^2).$$

若 $f$ 在線段的某個鄰域屬 $C^3$，令 $\phi(t)=f(a+th)$，則對某個 $\theta\in(0,1)$，餘項等於 $\phi'''(\theta)/6$。特別地，若線段上 $|\phi'''(t)|\le K\|h\|^3$，餘項絕對值不超過 $K\|h\|^3/6$。

由 $C^2$ 條件，混合二階偏導數相等，所以海森矩陣對稱。三階導數 $\phi'''(t)$ 是各 $i,j,k$ 的 $\partial_{ijk}f(a+th)h_i h_j h_k$ 之和；如果逐項給偏導數界，須把整個和計算在內。小 $o$ 結論說明誤差除以 $\|h\|^2$ 趨零；更強的三次誤差界需要額外控制。這兩個結論本身均不保證無窮泰勒級數收斂至原函數。

證明

化為一元問題

令 $\phi(t)=f(a+th)$。鏈式法則給 $\phi'(0)=\nabla f(a)\cdot h$ 及 $\phi''(0)=h^TH_f(a)h$。應用一元泰勒定理。對小 $o$ 形式，海森矩陣的連續性使二階誤差隨 $h\to0$ 一致地變小；對拉格朗日餘項，使用 $C^3$ 條件與一元三階導數公式。

例題

二階近似與嚴格誤差界

取 $f(x,y)=e^x\cos y$，在 $(0,0)$ 處有 $f=1$、$\nabla f=(1,0)$ 及 $H_f=\mathrm{diag}(1,-1)$。因此

$$T_2(x,y)=1+x+\tfrac12(x^2-y^2).$$

取 $h=(0.1,0.2)$，近似值為 $1.085$。沿 $th$，$\phi(t)=e^{0.1t}\cos(0.2t)$。由於 $\phi'''$ 是 $(0.1+0.2i)^3e^{(0.1+0.2i)t}$ 的實部，

$$|\phi'''(t)|\le(0.1^2+0.2^2)^{3/2}e^{0.1}<0.01236.$$

故 $|f(h)-1.085|<0.00206$。近似值和誤差界是不同的；實際誤差可以小得多。

泰勒級數與有限多項式

若 $f$ 在 $a$ 附近光滑，可用各階導數形式上組成泰勒多項式。但級數在某一點代表 $f$，必須該點的餘項趨零；無窮可微並不足夠。例子是 $t\ne0$ 時令 $g(t)=e^{-1/t^2}$，並設 $g(0)=0$。它在零點的所有導數均為零，但 $t\ne0$ 時 $g(t)>0$。因此其零點泰勒級數恆為零，在其他點不等於 $g$。讓函數忽略其餘坐標，就得到多元反例。

如何選方法

• 比較兩點： 梯度有界且線段留在定義域時，用線段中值估計。
• 預測小變化： 只需一階精度時用線性項；要考慮曲率或二階精度時加入海森矩陣。
• 驗證數值誤差： 要證明餘項界，不能只寫出近似值。
• 分類駐點： 用二次型的正負定性；下一節會說明假設和不能判定的情況。

練習

1. 在 $[-1,1]^2$ 上，利用梯度證明 $f(x,y)=x^2+y^2$ 是 Lipschitz 函數，並給出一個有效常數。
2. 求 $f(x,y)=x^2e^y$ 在 $(1,0)$ 的 $T_2$，再用它近似 $f(1.1,0.1)$。
3. 解釋為何 $f(x,y)=x^3$ 不等於原點的二階泰勒多項式，即使該多項式是有效的二階近似。
4. 令 $F(t)=(t^2,t^3)$，$t\in[0,1]$。證明不存在 $c\in(0,1)$ 使 $F(1)-F(0)=F'(c)$，儘管一元中值定理對各分量分別成立。

詳解

1. $\nabla f=(2x,2y)$，在方形內其範數不超過 $2\sqrt2$。方形為凸集，所以線段估計給 $|f(b)-f(a)|\le2\sqrt2\|b-a\|$。
2. 基點處 $f=1$、$\nabla f=(2,1)$、$H_f=\begin{pmatrix}2&2\\2&1\end{pmatrix}$。設 $u=x-1,v=y$，則 $T_2=1+2u+v+u^2+2uv+v^2/2$；在 $(u,v)=(0.1,0.1)$ 時得 $1.335$。
3. 原點處函數值、梯度及海森矩陣都為零，所以 $T_2=0$。差值 $x^3$ 並非恆零，但 $|x^3|/\sqrt{x^2+y^2}^{\,2}\le\sqrt{x^2+y^2}\to0$。
4. $F(1)-F(0)=(1,1)$，而 $F'(c)=(2c,3c^2)$。第一分量迫使 $c=1/2$，但此時第二分量為 $3/4\ne1$。兩個實值分量各自需要不同中間點。

總結

鏈式法則把多元問題帶到線段上。中值定理控制有限變化；泰勒多項式保留曲率，改善局部線性近似。結論依賴定義域和光滑性假設，而數值近似的好壞與多項式公式本身是兩個不同問題。