动机
正交多项式基可把连续近似变得简洁:每个系数只是一个内积。但计算机通常得到的是取样值,而不是精确积分。用加权观测取代积分,便改变了几何,未必保留正交性。因此,近似空间本身定义清楚,并不代表样本所得系数可靠。
假设目标定义在负一至一,误差按整个区间的均匀概率分布,以均方范数量度,但所有观测输入都接近原点。斜率对这些位置的影响很小,便难以准确估计。增加近乎相同位置的观测,可以平均独立噪声,却没有自动补上远处变化的信息。
本节区分一张残差图容易隐藏的四种作用:连续近似残差、残差在样本中对系数造成的混叠、薄弱设计带来的放大,以及测量噪声。以下精确恒等式把它们分开。重点是以指定测度近似函数,并非重写已有笔记的一般回归公式。
定义
定义 11.1.1
(均匀测度下的标准正交多项式基)
设 ν \nu ν 为 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上的均匀概率测度,故 ⟨ f , g ⟩ ν = 1 2 ∫ − 1 1 f g d x \langle f,g\rangle_\nu=\frac12\int_{-1}^1fg\,dx ⟨ f , g ⟩ ν = 2 1 ∫ − 1 1 f g d x 。选取一个有限多项式空间 V V V ,其标准正交基为 ϕ 0 , … , ϕ M − 1 \phi_0,\ldots,\phi_{M-1} ϕ 0 , … , ϕ M − 1 。标准正交是指这些连续内积构成单位矩阵。零至二次可取
ϕ 0 ( x ) = 1 , ϕ 1 ( x ) = 3 x , ϕ 2 ( x ) = 5 2 ( 3 x 2 − 1 ) . \phi_0(x)=1,\qquad \phi_1(x)=\sqrt3\,x,\qquad
\phi_2(x)=\frac{\sqrt5}{2}(3x^2-1). ϕ 0 ( x ) = 1 , ϕ 1 ( x ) = 3 x , ϕ 2 ( x ) = 2 5 ( 3 x 2 − 1 ) .
均匀矩对奇次幂为零,对偶次幂 k k k 为 1 / ( k + 1 ) 1/(k+1) 1/ ( k + 1 ) 。这些恒等式可验证上述基,也可在 Gram–Schmidt 过程中用来构造更高次的基。测度是定义的一部分:换一个输入分布,这些多项式未必仍然正交。
把连续投影写成 f V = ϕ ⊤ c ∗ f_V=\phi^\top c_* f V = ϕ ⊤ c ∗ ,其中 c ∗ , j = ⟨ f , ϕ j ⟩ ν c_{*,j}=\langle f,\phi_j\rangle_\nu c ∗ , j = ⟨ f , ϕ j ⟩ ν ,并令 r = f − f V r=f-f_V r = f − f V ,则 r r r 与 V V V 正交。假设 f f f 平方可积,并在观测节点有指定的点值。点值需要这一额外指定,因为仅凭 L 2 L^2 L 2 等价类不能决定孤立点上的取值。
定义 11.1.2
(加权样本拟合与离散 Gram 矩阵)
取固定节点 x i x_i x i 、总和为一的正权重 w i w_i w i ,以及相互独立、均值为零、具有相同有限方差 τ 2 \tau^2 τ 2 的测量误差。观测为 y i = f ( x i ) + ϵ i y_i=f(x_i)+\epsilon_i y i = f ( x i ) + ϵ i 。定义样本矩阵 Φ i j = ϕ j ( x i ) \Phi_{ij}=\phi_j(x_i) Φ ij = ϕ j ( x i ) 、权重矩阵 W = diag ( w i ) W=\operatorname{diag}(w_i) W = diag ( w i ) 及离散 Gram 矩阵 G = Φ ⊤ W Φ G=\Phi^\top W\Phi G = Φ ⊤ W Φ 。当 G G G 正定时,加权拟合为 c ^ = G − 1 Φ ⊤ W y \widehat c=G^{-1}\Phi^\top Wy c = G − 1 Φ ⊤ W y ,且 f ^ = ϕ ⊤ c ^ \widehat f=\phi^\top\widehat c f = ϕ ⊤ c 。
对系数向量 c c c ,连续标准正交性给出 ∥ ϕ ⊤ c ∥ ν 2 = ∥ c ∥ 2 \|\phi^\top c\|_\nu^2=\|c\|^2 ∥ ϕ ⊤ c ∥ ν 2 = ∥ c ∥ 2 ,而其样本平方范数为 c ⊤ G c c^\top Gc c ⊤ G c 。因此 G G G 的特征值比较的是度量同一多项式的两种不同方式。仅凭多项式次数不能描述这种比较。在 d d d 个变量中,次数至多为 p p p 的总次数空间有 ( p + d d ) \binom{p+d}{d} ( d p + d ) 个基函数,要达到列满秩,至少需要同样多的有效观测。
定理 / 命题
若 G G G 的最小特征值至少为 γ > 0 \gamma>0 γ > 0 ,则取样响应的任何变化都满足
∥ Δ c ∥ ≤ ∥ W 1 / 2 Δ y ∥ γ . \|\Delta c\|\leq\frac{\|W^{1/2}\Delta y\|}{\sqrt\gamma}. ∥Δ c ∥ ≤ γ ∥ W 1/2 Δ y ∥ . 若全部特征值位于 [ 1 − δ , 1 + δ ] [1-\delta,1+\delta] [ 1 − δ , 1 + δ ] ,其中 0 ≤ δ < 1 0\leq\delta<1 0 ≤ δ < 1 ,连续与离散平方范数之间至多相差相应的因子 1 − δ 1-\delta 1 − δ 和 1 + δ 1+\delta 1 + δ 。要有唯一系数,必须列满秩。若某方向在每个取样节点都为零,重复观测也不能恢复它。
在固定设计的假设下,且 G G G 正定,令 r s = ( r ( x 1 ) , … , r ( x n ) ) ⊤ r_s=(r(x_1),\ldots,r(x_n))^\top r s = ( r ( x 1 ) , … , r ( x n ) ) ⊤ 及 b = G − 1 Φ ⊤ W r s b=G^{-1}\Phi^\top Wr_s b = G − 1 Φ ⊤ W r s 。则
E ∥ f − f ^ ∥ ν 2 = ∥ r ∥ ν 2 + ∥ b ∥ 2 + τ 2 tr ( G − 1 Φ ⊤ W 2 Φ G − 1 ) . E\|f-\widehat f\|_\nu^2
=\|r\|_\nu^2+\|b\|^2
+\tau^2\operatorname{tr}\left(G^{-1}\Phi^\top W^2\Phi G^{-1}\right). E ∥ f − f ∥ ν 2 = ∥ r ∥ ν 2 + ∥ b ∥ 2 + τ 2 tr ( G − 1 Φ ⊤ W 2 Φ G − 1 ) . 等权 w i = 1 / n w_i=1/n w i = 1/ n 时,最后一项简化为 τ 2 tr ( G − 1 ) / n \tau^2\operatorname{tr}(G^{-1})/n τ 2 tr ( G − 1 ) / n 。若特征值还位于 [ 1 − δ , 1 + δ ] [1-\delta,1+\delta] [ 1 − δ , 1 + δ ] ,该方差项便介于 τ 2 M / [ n ( 1 + δ ) ] \tau^2M/[n(1+\delta)] τ 2 M / [ n ( 1 + δ )] 与 τ 2 M / [ n ( 1 − δ ) ] \tau^2M/[n(1-\delta)] τ 2 M / [ n ( 1 − δ )] 之间。不需要假设噪声服从正态分布。
证明思路
令 A = W 1 / 2 Φ A=W^{1/2}\Phi A = W 1/2 Φ 及 z = W 1 / 2 Δ y z=W^{1/2}\Delta y z = W 1/2 Δ y 。系数扰动满足 A ⊤ A Δ c = A ⊤ z A^\top A\Delta c=A^\top z A ⊤ A Δ c = A ⊤ z 。与 Δ c \Delta c Δ c 取内积,得 ∥ A Δ c ∥ 2 = ⟨ A Δ c , z ⟩ ≤ ∥ A Δ c ∥ ∥ z ∥ \|A\Delta c\|^2=\langle A\Delta c,z\rangle\leq\|A\Delta c\|\|z\| ∥ A Δ c ∥ 2 = ⟨ A Δ c , z ⟩ ≤ ∥ A Δ c ∥∥ z ∥ 。若左边的范数非零,就除以它;若为零,正定性迫使 Δ c = 0 \Delta c=0 Δ c = 0 。由于 ∥ A Δ c ∥ ≥ γ ∥ Δ c ∥ \|A\Delta c\|\geq\sqrt\gamma\|\Delta c\| ∥ A Δ c ∥ ≥ γ ∥Δ c ∥ ,稳定界随之成立。范数等价的断言就是 G G G 的 Rayleigh 商界。
把 y = Φ c ∗ + r s + ϵ y=\Phi c_*+r_s+\epsilon y = Φ c ∗ + r s + ϵ 代入拟合方程,得 c ^ − c ∗ = b + G − 1 Φ ⊤ W ϵ \widehat c-c_*=b+G^{-1}\Phi^\top W\epsilon c − c ∗ = b + G − 1 Φ ⊤ W ϵ 。噪声项均值为零,协方差为 τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 \tau^2G^{-1}\Phi^\top W^2\Phi G^{-1} τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 ;其欧氏(Euclidean)范数平方的期望就是这个协方差的迹。连续正交性给出残差 r r r 与多项式系数误差之间的勾股恒等式。取平均并利用噪声均值为零,便证得第二个定理。
证明透视
哪一种正交性产生哪一项 这个恒等式依赖两种不同的正交性,分别用在不同地方。在 ν \nu ν 下 r r r 与 V V V 的连续正交性给出勾股分解 ∥ f − f ^ ∥ ν 2 = ∥ r ∥ ν 2 + ∥ c ^ − c ∗ ∥ 2 \|f-\widehat f\|_\nu^2=\|r\|_\nu^2+\|\widehat c-c_*\|^2 ∥ f − f ∥ ν 2 = ∥ r ∥ ν 2 + ∥ c − c ∗ ∥ 2 ;它也使系数误差不带任何常数地等于函数误差。然而样本拟合以离散权重作投影,而在那个内积下 r r r 一般不与 V V V 正交;这种失效正是混叠向量 b b b ,它是确定性的。
b b b 与噪声项之间的交叉项只在取平均后才消失,因为设计固定而误差均值为零;由于 b b b 不是随机的,无须假设它与噪声独立。独立性与等方差只在协方差 τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 \tau^2G^{-1}\Phi^\top W^2\Phi G^{-1} τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 中出现,而且任何地方都没有用到正态假设。
等权时 W 2 = W / n W^2=W/n W 2 = W / n ,协方差化简为 τ 2 G − 1 / n \tau^2G^{-1}/n τ 2 G − 1 / n 。把逆特征值相加便得所述上下界。一般而言,不等式 W 2 ⪯ w max W W^2\preceq w_{\max}W W 2 ⪯ w m a x W 给出方差上界 τ 2 w max tr ( G − 1 ) \tau^2w_{\max}\operatorname{tr}(G^{-1}) τ 2 w m a x tr ( G − 1 ) 。这说明即使权重总和仍为一,过度集中的权重也会削弱有效的平均作用。
概念视角 几何
同一残差,两种不同的正交测试 残差在对测度积分的内积下,垂直于每个近似多项式;在有限加权和下却未必垂直。向量 Φ ⊤ W r s \Phi^\top Wr_s Φ ⊤ W r s 正是这个差别。因此,即使没有噪声、离散方程也精确求解,样本系数仍可能偏离连续投影。说一组基正交时,必须说明是哪个内积。
计算时,先构造加权矩阵 A A A 及响应 W 1 / 2 y W^{1/2}y W 1/2 y ,再用能揭示秩的 QR 分解或奇异值分解求解。正规方程描述最小化解,但若用作数值求解方法,会把矩阵的条件数平方。换成连续标准正交基有助于理解问题,却不能代替检查取样矩阵的奇异值。
同一几何也解释了逐点预测的不确定性为何可以不均匀。令 K ( x ) = ∑ j ϕ j ( x ) 2 K(x)=\sum\limits_j\phi_j(x)^2 K ( x ) = j ∑ ϕ j ( x ) 2 。Cauchy–Schwarz 给出 ∣ ϕ ( x ) ⊤ c ∣ 2 ≤ K ( x ) ∥ c ∥ 2 |\phi(x)^\top c|^2\leq K(x)\|c\|^2 ∣ ϕ ( x ) ⊤ c ∣ 2 ≤ K ( x ) ∥ c ∥ 2 。在等权独立噪声下,逐点拟合方差为 τ 2 ϕ ( x ) ⊤ G − 1 ϕ ( x ) / n \tau^2\phi(x)^\top G^{-1}\phi(x)/n τ 2 ϕ ( x ) ⊤ G − 1 ϕ ( x ) / n ,至多为 τ 2 K ( x ) / ( n γ ) \tau^2K(x)/(n\gamma) τ 2 K ( x ) / ( nγ ) 。K K K 的连续平均为 M M M ,但在个别点的值可以大得多;对上述三个多项式,其端点值为九。因此,在积分意义下稳定的拟合,未必在每个位置都有同样精确的预测。
在多变量中,复杂度变得具体。有二十个输入时,总次数二的多项式已有 231 个系数,总次数三则有 1771 个。若无额外限制,无论用什么求解器,二百个观测都不能唯一识别全部二次系数。在相同节点重复这些观测,并不扩大设计的行空间;这可以平均掉独立的测量噪声,但在每个不同节点都为零的多项式仍然不可见。额外结构或惩罚项可以选出一个拟合函数,却不会把原观测变成关于那个缺失方向的信息。
例题详解
在上述三个基函数张成的空间中近似 f ( x ) = x 4 f(x)=x^4 f ( x ) = x 4 。其系数为 c ∗ , 0 = 1 / 5 c_{*,0}=1/5 c ∗ , 0 = 1/5 、c ∗ , 1 = 0 c_{*,1}=0 c ∗ , 1 = 0 及 c ∗ , 2 = 4 5 / 35 c_{*,2}=4\sqrt5/35 c ∗ , 2 = 4 5 /35 ,故 f V ( x ) = 6 x 2 / 7 − 3 / 35 f_V(x)=6x^2/7-3/35 f V ( x ) = 6 x 2 /7 − 3/35 。平方近似误差为 E [ X 8 ] − c ∗ , 0 2 − c ∗ , 2 2 = 64 / 11025 E[X^8]-c_{*,0}^2-c_{*,2}^2=64/11025 E [ X 8 ] − c ∗ , 0 2 − c ∗ , 2 2 = 64/11025 。这是精确的积分误差,不是训练残差。计算它需要指定的均匀测度;在无关的节点上拟合,未必得到同一组系数。
取节点 − 3 / 5 , 0 , 3 / 5 -\sqrt{3/5},0,\sqrt{3/5} − 3/5 , 0 , 3/5 及权重 5 / 18 , 4 / 9 , 5 / 18 5/18,4/9,5/18 5/18 , 4/9 , 5/18 。加权奇次矩为零,加权二阶及四阶矩分别等于 1 / 3 1/3 1/3 和 1 / 5 1/5 1/5 。因此上述基函数两两乘积的加权和恰好等于其连续内积,二次空间的 G = I G=I G = I 。
对该空间内的目标,取样混叠项为零。在独立且方差同为 τ 2 \tau^2 τ 2 的误差下,虽然权重不相等,积分拟合方差仍为 τ 2 \tau^2 τ 2 。直接验证:方阵 W 1 / 2 Φ W^{1/2}\Phi W 1/2 Φ 是正交矩阵,故 w i ∥ ϕ ( x i ) ∥ 2 = 1 w_i\|\phi(x_i)\|^2=1 w i ∥ ϕ ( x i ) ∥ 2 = 1 。于是协方差的迹为 τ 2 ∑ i w i 2 ∥ ϕ ( x i ) ∥ 2 = τ 2 ∑ i w i = τ 2 \tau^2\sum\limits_iw_i^2\|\phi(x_i)\|^2=\tau^2\sum\limits_iw_i=\tau^2 τ 2 i ∑ w i 2 ∥ ϕ ( x i ) ∥ 2 = τ 2 i ∑ w i = τ 2 。这个计算使用一般的加权公式,而不是未经论证地代入等权公式。
只用 ϕ 0 , ϕ 1 \phi_0,\phi_1 ϕ 0 , ϕ 1 ,并取等权节点 − a , a -a,a − a , a ,其中 0 < a ≤ 1 0<a\leq1 0 < a ≤ 1 。则 G = diag ( 1 , 3 a 2 ) G=\operatorname{diag}(1,3a^2) G = diag ( 1 , 3 a 2 ) 。对目标 x 2 x^2 x 2 ,无噪声拟合多项式是常数 a 2 a^2 a 2 ,而最佳连续仿射近似是常数 1 / 3 1/3 1/3 。因此混叠贡献为 ( a 2 − 1 / 3 ) 2 (a^2-1/3)^2 ( a 2 − 1/3 ) 2 ,连续残差贡献为 4 / 45 4/45 4/45 。
有两个独立的含噪声测量时,精确期望误差为 4 / 45 + ( a 2 − 1 / 3 ) 2 + τ 2 ( 1 + 1 / ( 3 a 2 ) ) / 2 4/45+(a^2-1/3)^2+\tau^2(1+1/(3a^2))/2 4/45 + ( a 2 − 1/3 ) 2 + τ 2 ( 1 + 1/ ( 3 a 2 )) /2 。节点趋近零时,斜率方差发散。大量重复这种接近零的测量,可按其数目降低噪声,但固定而细小的空间跨度仍使斜率估计代价高昂。当 a = 0 a=0 a = 0 时,斜率完全不可识别,可逆矩阵公式不再适用。
常见错误
第二个定理把混叠与稳定性分开,两者确实不同。
反例模式
离散 Gram 矩阵为单位矩阵并不消除取样混叠 断言:若加权节点重现 V V V 的连续几何,即 G = I G=I G = I ,则无噪声样本拟合等于连续投影。取第二个例题中 G = I G=I G = I 的三节点规则,以及第一个例题的目标 f ( x ) = x 4 f(x)=x^4 f ( x ) = x 4 。样本值为 9 / 25 , 0 , 9 / 25 9/25,0,9/25 9/25 , 0 , 9/25 。由于 G = I G=I G = I ,拟合为 c ^ = Φ ⊤ W y \widehat c=\Phi^\top Wy c = Φ ⊤ W y :奇对称给出 c ^ 1 = 0 \widehat c_1=0 c 1 = 0 ,规则给出 c ^ 0 = 2 ⋅ 5 18 ⋅ 9 25 = 1 5 \widehat c_0=2\cdot\frac5{18}\cdot\frac9{25}=\frac15 c 0 = 2 ⋅ 18 5 ⋅ 25 9 = 5 1 ,而
c ^ 2 = 2 ⋅ 5 18 ⋅ 5 2 ( 3 ⋅ 3 5 − 1 ) 9 25 = 2 5 25 ≠ 4 5 35 = c ∗ , 2 . \widehat c_2=2\cdot\frac5{18}\cdot\frac{\sqrt5}{2}\Bigl(3\cdot\frac35-1\Bigr)\frac9{25}=\frac{2\sqrt5}{25}\neq\frac{4\sqrt5}{35}=c_{*,2}. c 2 = 2 ⋅ 18 5 ⋅ 2 5 ( 3 ⋅ 5 3 − 1 ) 25 9 = 25 2 5 = 35 4 5 = c ∗ , 2 . 拟合多项式是 3 x 2 / 5 3x^2/5 3 x 2 /5 ,而不是 6 x 2 / 7 − 3 / 35 6x^2/7-3/35 6 x 2 /7 − 3/35 。混叠项为 ∥ b ∥ 2 = ( 6 5 / 175 ) 2 = 36 / 6125 \|b\|^2=(6\sqrt5/175)^2=36/6125 ∥ b ∥ 2 = ( 6 5 /175 ) 2 = 36/6125 ,与 ∥ r ∥ ν 2 = 64 / 11025 \|r\|_\nu^2=64/11025 ∥ r ∥ ν 2 = 64/11025 大小相当;总误差 644 / 55125 644/55125 644/55125 与直接积分 ( x 4 − 3 x 2 / 5 ) 2 (x^4-3x^2/5)^2 ( x 4 − 3 x 2 /5 ) 2 的结果一致。该规则只对不超过五次的多项式精确积分,而 r ϕ 2 r\phi_2 r ϕ 2 是六次。正确的结论就是定理:G = I G=I G = I 控制稳定性与方差,混叠则只在加权和也重现 r r r 与基函数的内积时才消失,例如 f ∈ V f\in V f ∈ V 。
更多多项式项并不只是降低近似误差。它们扩大取样矩阵,可能引入近似相关,并增加方差迹。简单的 M / n M/n M / n 噪声尺度需要条件良好的等权设计,并不是适用于每个多项式拟合的一般公式。用同一批观测选择次数也会改变估计量,此时固定空间的计算必须辅以选择分析。
求积对基乘积精确,只控制 Gram,未必控制任意目标残差与基的乘积,所以不必消除混叠;上面的反例正是如此。目标可以在全部节点为零,在节点之间却几乎处处非零。精确算术或零训练残差都不能补回这部分缺失的信息。
等观测方差是模型假设。若方差不同,推导中须用其协方差矩阵代替 τ 2 I \tau^2I τ 2 I 。逆方差加权对估计某些系数可能合理,但仍须指明所要的连续误差度量及样本几何。为一个目的选择的权重,不会自动对其他目的都最优。
公式也假设记录的输入就是真正的设计位置。输入坐标若有误差,改变的是基函数的取值本身,而不只是响应向量;这需要额外的模型,不在响应噪声恒等式的范围之内。
总结
连续正交性把空间内的函数误差化为系数误差。取样则引入控制稳定性的离散 Gram。完整预期误差分成连续近似、确定混叠及测量方差。因此可靠近似需要合适空间、有信息的节点、合理权重及稳定求解器,不能只调多项式次数。
练习
快速检查
(验证在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上的均匀概率测度下,ϕ 2 \phi_2 ϕ 2 与 1 1 1 及 x x x 都正交,且平方范数为一。指出用到的每一个矩。)
解答 · 答案 与常数的内积为 5 ( 3 E [ X 2 ] − 1 ) / 2 = 0 \sqrt5(3E[X^2]-1)/2=0 5 ( 3 E [ X 2 ] − 1 ) /2 = 0 ,因为 E [ X 2 ] = 1 / 3 E[X^2]=1/3 E [ X 2 ] = 1/3 。与 x x x 的内积为零,因为一阶及三阶矩都为零。平方范数为 5 ( 9 E [ X 4 ] − 6 E [ X 2 ] + 1 ) / 4 = 5 ( 9 / 5 − 2 + 1 ) / 4 = 1 5(9E[X^4]-6E[X^2]+1)/4=5(9/5-2+1)/4=1 5 ( 9 E [ X 4 ] − 6 E [ X 2 ] + 1 ) /4 = 5 ( 9/5 − 2 + 1 ) /4 = 1 。因此用到的矩是一至四阶矩,以及 E [ 1 ] = 1 E[1]=1 E [ 1 ] = 1 。
快速检查
(一个固定等权设计有 n = 100 n=100 n = 100 、三个连续标准正交基函数,Gram 特征值为 1 / 2 , 1 , 3 / 2 1/2,1,3/2 1/2 , 1 , 3/2 。若目标属于它们的张成空间,求在独立噪声方差 τ 2 \tau^2 τ 2 下的期望积分拟合误差。)
解答 · 答案 由于目标在固定空间内,近似项与混叠项都为零。逆特征值之和为 2 + 1 + 2 / 3 = 11 / 3 2+1+2/3=11/3 2 + 1 + 2/3 = 11/3 ,所以期望积分误差为 11 τ 2 / 300 11\tau^2/300 11 τ 2 /300 。不需要正态性;具有所述有限方差的独立零均值误差已经足够。
快速检查
(对求积例题的三个节点,取无噪声目标 P 3 ( x ) = ( 5 x 3 − 3 x ) / 2 P_3(x)=(5x^3-3x)/2 P 3 ( x ) = ( 5 x 3 − 3 x ) /2 。它的二次样本拟合是什么?计算其连续平方误差,并解释零训练残差。)
解答 · 答案 三个节点都是 P 3 P_3 P 3 的根,所以样本值为零,唯一的二次样本拟合也是零。直接积分得 ∥ P 3 ∥ ν 2 = ( 25 / 7 − 30 / 5 + 9 / 3 ) / 4 = 1 / 7 \|P_3\|_\nu^2=(25/7-30/5+9/3)/4=1/7 ∥ P 3 ∥ ν 2 = ( 25/7 − 30/5 + 9/3 ) /4 = 1/7 。在不受限制的函数族中,目标不能由三个点值决定。因此,即使求积精确保留二次基函数的乘积,零训练残差仍可与正的积分误差并存。
快速检查
(以权重 w w w 及 1 − w 1-w 1 − w ,用两个噪声独立且方差同为 τ 2 \tau^2 τ 2 的测量拟合一个常数。求拟合常数的方差及使其最小的权重。为何只看 Gram 矩阵不能揭示这一方差差别?)
解答 · 答案 拟合常数是加权平均,方差为 τ 2 [ w 2 + ( 1 − w ) 2 ] = τ 2 [ 2 ( w − 1 / 2 ) 2 + 1 / 2 ] \tau^2[w^2+(1-w)^2]=\tau^2[2(w-1/2)^2+1/2] τ 2 [ w 2 + ( 1 − w ) 2 ] = τ 2 [ 2 ( w − 1/2 ) 2 + 1/2 ] 。最小值在等权时取得,为 τ 2 / 2 \tau^2/2 τ 2 /2 。以常数为基时,对任何权重都有 G = ∑ i w i = 1 G=\sum\limits_iw_i=1 G = i ∑ w i = 1 ,但协方差还含有权重的平方。忽略这个额外矩阵,就会抹去这一统计上的差别。