两种误差之间的张力
导数是用步长趋于零的极限来定义的,但计算机只能使用有限的步长和近似的函数值。缩小步长可以改善解析意义上的近似程度,却会放大差分中的误差。我们会把函数求值误差的界与详细的浮点模型区分开来:前者可以在不假定所有求值都具有相同相对误差的情况下加以证明。
定义 1.3.1
(向前差分与中心差分)
设 。 在 处的向前差分与中心差分为
定义 1.3.2
(绝对求值误差界)
可用的数值 在实际用到的每一点 都满足 。这是绝对误差界。它可以包括测量误差和求值误差,但除非模型明确包括在内,否则相减和相除所用的算术运算会引入额外的舍入误差。
截断误差与噪声的界
定理 1.3.3
(向前差分的误差界)
若在 上 ,则
证明
(泰勒(Taylor)余项加上两个函数值误差)
由泰勒(Taylor)定理,存在某个 使 。除以 后,截断误差的界为 。两个函数值误差之差的绝对值至多为 ;除以 并利用三角不等式即得所求。
定理 1.3.4
(中心差分的误差界)
若在 上 ,则
证明
(偶次项相互抵消)
把 和 展开到二阶,并带三阶导数的余项。常数项与二次项相互抵消,剩下 和绝对值至多为 的余项。除以 。两个各以 为界的求值误差,贡献至多 。
证明透视
为什么对称性提高解析阶数
向前差分公式保留了与 成正比的二阶导数项。在中心差分公式中,相对两点的偶次泰勒项相互抵消,所以第一个失去控制的项与 成正比。两个公式仍然都是把不精确函数值之差除以 ,所以都不能消除噪声的放大。
由误差界选取步长
命题 1.3.5
(使误差界最小的步长)
假设 ,并假设各导数的界在候选区间上处处成立。向前差分的上界在
处最小;中心差分的上界在
处最小。
证明
(令导数为零)
函数 ()的导数为 ,它在 之下为负、之上为正,所以 是最小点。此时 且 ,所以最小值为 。对 , 在 处为零,并在该处由负变正。
常见错误
(把使误差界最小的步长当作最佳步长)
这些步长优化的是最坏情形的上界,并不一定是实际误差:两个带符号的误差可能相互抵消,导数的界也可能过于悲观。此外,如果可用的定义域或有效的导数界限制了 ,候选值必须对照这个限制检查。在这些界中, 的情形不会给出正的最小点;此时减小 会减小所显示的截断项,但仍受假设所限。
例题 1.3.6
(指数函数的中心差分)
用中心差分估计 在 处的导数 ,函数值误差以 为界。在 上取 。候选值 小于一。截断项至多约为 ,函数值误差项约为 ,总界接近 。这个界并不是预测每次计算都有这样大的误差。
例题 1.3.7
(指数函数的向前差分)
同样取 ,用向前差分估计 的 。在 上取 。则 ,最小化后的界为 。在最优点,截断项 与噪声项 相等。上面的中心差分界大约小二十倍,这就是更高解析阶数带来的实际好处。两个界都用 作为 或 上的导数界,而在 附近真实的导数接近 ;这些界是悲观的。
例题 1.3.8
(精确函数值与二次函数)
取 在 处,使用精确函数值,即 。向前差分为 ,所以误差恰为 ,并随 趋于零:没有正的最小步长。中心差分为 ,对每个 都精确。这与中心差分的界一致,因为 给出 ,此时 的公式不适用。
反例模式
更小的 h 可能使可用信息更差
设 ,并假设向前差分中的两个函数值在 处的误差为 ,在 处的误差为 。则计算出的差分为 。即使精确的向前差分没有截断误差,其误差仍随 而增大。比不确定性尺度更小的步长,可能放大噪声,而不是给出更好的导数。
常见错误
(忽略相对误差与取样点的舍入)
在零点附近,相对误差需要另行小心处理。假设 会给出依赖于取样值的绝对界,并且它可能无法刻画计算 时的相消或下溢。此外,若 在浮点运算中舍入为 ,原本不同的取样点会变成相同。完整的实现必须考虑这些影响,以及最后算术运算中的舍入。
练习与解答
快速检查
(推导 在 处的向前差分截断误差的精确值。)
展开 。
解答 · 答案
,故带符号的误差为 。
快速检查
(若 且 ,求使所述向前差分界最小的步长。)
使用 。
解答 · 答案
候选值为 ,前提是导数的界在所需区间上有效。
快速检查
(为何在这个论证中,中心差分估计需要三阶导数的界?)
哪些泰勒项相互抵消?
解答 · 答案
常数项与二次泰勒项相互抵消,而两个三阶余项给出所述的 界。其他正则性假设可以得到其他的界。
快速检查
(设 ,且使用精确的函数值。对每个 ,两个差分公式分别等于多少?)
代入 。
解答 · 答案
两者都恰好等于一;反例中的不稳定来自函数值的误差,而不是这个线性函数的截断误差。