兩種誤差之間的張力
導數是以步長趨向零的極限來定義的,但電腦只能使用有限的步長和近似的函數值。縮小步長可改善解析上的近似程度,卻會放大差分中的誤差。我們會把函數求值誤差的界與詳細的浮點模型區分開來:前者可以在不假定所有求值都具有相同相對誤差的情況下予以證明。
定義 1.3.1
(向前差分與中心差分)
設 。 在 處的向前差分與中心差分為
定義 1.3.2
(絕對求值誤差界)
可用的數值 在實際用到的每一點 都滿足 。這是絕對誤差界。它可以包括量度誤差和求值誤差,但除非模型明確包括在內,否則相減和相除所用的算術運算會引入額外的捨入誤差。
截斷誤差與噪聲的界
定理 1.3.3
(向前差分的誤差界)
若在 上 ,則
證明
(泰勒(Taylor)餘項加上兩個函數值誤差)
由泰勒(Taylor)定理,存在某個 使 。除以 後,截斷誤差的界為 。兩個函數值誤差之差的大小至多為 ;除以 並利用三角不等式即得所求。
定理 1.3.4
(中心差分的誤差界)
若在 上 ,則
證明
(偶次項互相抵銷)
把 和 展開至二階,並帶三階導數的餘項。常數項與二次項互相抵銷,剩下 和大小至多為 的餘項。除以 。兩個各以 為界的求值誤差,貢獻至多 。
證明透視
為甚麼對稱性改善解析階數
向前差分公式保留了與 成正比的二階導數項。在中心差分公式中,相對兩點的偶次泰勒項互相抵銷,所以第一個失控的項與 成正比。兩個公式仍然都是把不精確函數值之差除以 ,所以都不能消除噪聲的放大。
由誤差界選取步長
命題 1.3.5
(使誤差界最小的步長)
假設 ,並假設各導數的界在候選區間上處處成立。向前差分的上界在
處最小;中心差分的上界在
處最小。
證明
(令導數為零)
函數 ()的導數為 ,它在 之下為負、之上為正,所以 是最小點。此時 且 ,所以最小值為 。對 , 在 處為零,並在該處由負變正。
常見錯誤
(把使誤差界最小的步長當作最佳步長)
這些步長優化的是最壞情形的上界,並不一定是實際誤差:兩個帶符號的誤差可能互相抵銷,導數的界也可能過於悲觀。此外,如果可用的定義域或有效的導數界限制了 ,候選值必須對照這個限制檢查。在這些界中, 的情形不會給出正的最小點;此時減小 會減小所顯示的截斷項,但仍受假設所限。
例題 1.3.6
(指數函數的中心差分)
以中心差分估計 在 處的導數 ,函數值誤差以 為界。在 上取 。候選值 小於一。截斷項至多約為 ,函數值誤差項約為 ,總界接近 。這個界並不是預測每次計算都有這樣大的誤差。
例題 1.3.7
(指數函數的向前差分)
同樣以 ,用向前差分估計 的 。在 上取 。則 ,最小化後的界為 。在最優點,截斷項 與噪聲項 相等。上面的中心差分界大約小二十倍,這就是更高解析階數帶來的實際好處。兩個界都用 作為 或 上的導數界,而在 附近真實的導數接近 ;這些界是悲觀的。
例題 1.3.8
(精確函數值與二次函數)
取 在 處,使用精確函數值,即 。向前差分為 ,所以誤差恰為 ,並隨 趨於零:沒有正的最小步長。中心差分為 ,對每個 都精確。這與中心差分的界一致,因為 給出 ,此時 的公式不適用。
反例模式
更小的 h 可能令可用資訊更差
設 ,並假設向前差分中的兩個函數值在 處的誤差為 ,在 處的誤差為 。則計算出的差分為 。即使精確的向前差分沒有截斷誤差,其誤差仍隨 而增大。比不確定性尺度更小的步長,可能放大噪聲,而不是顯示更好的導數。
常見錯誤
(忽略相對誤差與取樣點的捨入)
在零點附近,相對誤差需要另行小心處理。假設 會給出依賴於取樣值的絕對界,並且它可能無法模擬計算 時的相消或下溢。此外,若 在浮點運算中捨入為 ,原本不同的取樣點會變成相同。完整的實現必須考慮這些影響,以及最後算術運算中的捨入。
練習與解答
快速檢查
(推導 在 處的向前差分截斷誤差的精確值。)
展開 。
解答 · 答案
,故帶符號的誤差為 。
快速檢查
(若 且 ,求使所述向前差分界最小的步長。)
使用 。
解答 · 答案
候選值為 ,前提是導數的界在所需區間上有效。
快速檢查
(為何在這個論證中,中心差分估計需要三階導數的界?)
哪些泰勒項互相抵銷?
解答 · 答案
常數項與二次泰勒項互相抵銷,而兩個三階餘項給出所述的 界。其他正則性假設可以得到其他的界。
快速檢查
(設 ,且使用精確的函數值。對每個 ,兩個差分公式分別等於多少?)
代入 。
解答 · 答案
兩者都恰好等於一;反例中的不穩定來自函數值的誤差,而不是這個線性函數的截斷誤差。