動機
正交多項式基可把連續近似變得簡潔:每個係數只是一個內積。但電腦通常收到取樣值,而不是精確積分。用加權觀測取代積分,便改變了幾何,未必保留正交性。因此,近似空間本身定義清楚,並不代表樣本所得係數可靠。
假設目標定義在負一至一,誤差按整個區間的均勻概率分布,以均方範數量度,但所有觀測輸入都接近原點。斜率對這些位置的影響很小,便難以準確估計。增加近乎相同位置的觀測,可以平均獨立雜訊,卻沒有自動補上遠處變化的資訊。
本節區分一張殘差圖容易隱藏的四種作用:連續近似殘差、殘差在樣本中對係數造成的混疊、薄弱設計帶來的放大,以及量度雜訊。以下精確恆等式把它們分開。重點是以指定測度近似函數,並非重寫已有筆記的一般迴歸公式。
定義
定義 11.1.1
(均勻測度下的標準正交多項式基)
設 ν \nu ν 為 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上的均勻概率測度,故 ⟨ f , g ⟩ ν = 1 2 ∫ − 1 1 f g d x \langle f,g\rangle_\nu=\frac12\int_{-1}^1fg\,dx ⟨ f , g ⟩ ν = 2 1 ∫ − 1 1 f g d x 。選取一個有限多項式空間 V V V ,其標準正交基為 ϕ 0 , … , ϕ M − 1 \phi_0,\ldots,\phi_{M-1} ϕ 0 , … , ϕ M − 1 。標準正交是指這些連續內積組成單位矩陣。零至二次可取
ϕ 0 ( x ) = 1 , ϕ 1 ( x ) = 3 x , ϕ 2 ( x ) = 5 2 ( 3 x 2 − 1 ) . \phi_0(x)=1,\qquad \phi_1(x)=\sqrt3\,x,\qquad
\phi_2(x)=\frac{\sqrt5}{2}(3x^2-1). ϕ 0 ( x ) = 1 , ϕ 1 ( x ) = 3 x , ϕ 2 ( x ) = 2 5 ( 3 x 2 − 1 ) .
均勻矩對奇次冪為零,對偶次冪 k k k 為 1 / ( k + 1 ) 1/(k+1) 1/ ( k + 1 ) 。這些恆等式可驗證上述基,也可在 Gram–Schmidt 程序中用來構造更高次的基。測度是定義的一部分:換一個輸入分布,這些多項式未必仍然正交。
把連續投影寫成 f V = ϕ ⊤ c ∗ f_V=\phi^\top c_* f V = ϕ ⊤ c ∗ ,其中 c ∗ , j = ⟨ f , ϕ j ⟩ ν c_{*,j}=\langle f,\phi_j\rangle_\nu c ∗ , j = ⟨ f , ϕ j ⟩ ν ,並令 r = f − f V r=f-f_V r = f − f V ,則 r r r 與 V V V 正交。假設 f f f 平方可積,並在觀測節點有指定的點值。點值需要這個額外指定,因為單憑 L 2 L^2 L 2 等價類不能決定孤立點上的取值。
定義 11.1.2
(加權樣本擬合與離散 Gram 矩陣)
取固定節點 x i x_i x i 、總和為一的正權重 w i w_i w i ,以及互相獨立、均值為零、具有相同有限方差 τ 2 \tau^2 τ 2 的量度誤差。觀測為 y i = f ( x i ) + ϵ i y_i=f(x_i)+\epsilon_i y i = f ( x i ) + ϵ i 。定義樣本矩陣 Φ i j = ϕ j ( x i ) \Phi_{ij}=\phi_j(x_i) Φ ij = ϕ j ( x i ) 、權重矩陣 W = diag ( w i ) W=\operatorname{diag}(w_i) W = diag ( w i ) 及離散 Gram 矩陣 G = Φ ⊤ W Φ G=\Phi^\top W\Phi G = Φ ⊤ W Φ 。當 G G G 正定時,加權擬合為 c ^ = G − 1 Φ ⊤ W y \widehat c=G^{-1}\Phi^\top Wy c = G − 1 Φ ⊤ W y ,而 f ^ = ϕ ⊤ c ^ \widehat f=\phi^\top\widehat c f = ϕ ⊤ c 。
對係數向量 c c c ,連續標準正交性給出 ∥ ϕ ⊤ c ∥ ν 2 = ∥ c ∥ 2 \|\phi^\top c\|_\nu^2=\|c\|^2 ∥ ϕ ⊤ c ∥ ν 2 = ∥ c ∥ 2 ,而其樣本平方範數為 c ⊤ G c c^\top Gc c ⊤ G c 。因此 G G G 的特徵值比較的是量度同一多項式的兩種不同方式。單憑多項式次數不能描述這個比較。在 d d d 個變量中,次數至多為 p p p 的總次數空間有 ( p + d d ) \binom{p+d}{d} ( d p + d ) 個基函數,要有滿列秩,至少需要同樣多的有效觀測。
定理 / 命題
若 G G G 的最小特徵值至少為 γ > 0 \gamma>0 γ > 0 ,則取樣反應的任何變化都滿足
∥ Δ c ∥ ≤ ∥ W 1 / 2 Δ y ∥ γ . \|\Delta c\|\leq\frac{\|W^{1/2}\Delta y\|}{\sqrt\gamma}. ∥Δ c ∥ ≤ γ ∥ W 1/2 Δ y ∥ . 若全部特徵值位於 [ 1 − δ , 1 + δ ] [1-\delta,1+\delta] [ 1 − δ , 1 + δ ] ,其中 0 ≤ δ < 1 0\leq\delta<1 0 ≤ δ < 1 ,連續與離散平方範數之間至多相差相應的因子 1 − δ 1-\delta 1 − δ 及 1 + δ 1+\delta 1 + δ 。要有唯一係數,必須有滿列秩。若某方向在每個取樣節點都為零,重複觀測也不能恢復它。
在固定設計的假設下,且 G G G 正定,令 r s = ( r ( x 1 ) , … , r ( x n ) ) ⊤ r_s=(r(x_1),\ldots,r(x_n))^\top r s = ( r ( x 1 ) , … , r ( x n ) ) ⊤ 及 b = G − 1 Φ ⊤ W r s b=G^{-1}\Phi^\top Wr_s b = G − 1 Φ ⊤ W r s 。則
E ∥ f − f ^ ∥ ν 2 = ∥ r ∥ ν 2 + ∥ b ∥ 2 + τ 2 tr ( G − 1 Φ ⊤ W 2 Φ G − 1 ) . E\|f-\widehat f\|_\nu^2
=\|r\|_\nu^2+\|b\|^2
+\tau^2\operatorname{tr}\left(G^{-1}\Phi^\top W^2\Phi G^{-1}\right). E ∥ f − f ∥ ν 2 = ∥ r ∥ ν 2 + ∥ b ∥ 2 + τ 2 tr ( G − 1 Φ ⊤ W 2 Φ G − 1 ) . 等權 w i = 1 / n w_i=1/n w i = 1/ n 時,最後一項簡化為 τ 2 tr ( G − 1 ) / n \tau^2\operatorname{tr}(G^{-1})/n τ 2 tr ( G − 1 ) / n 。若特徵值還位於 [ 1 − δ , 1 + δ ] [1-\delta,1+\delta] [ 1 − δ , 1 + δ ] ,該方差項便介乎 τ 2 M / [ n ( 1 + δ ) ] \tau^2M/[n(1+\delta)] τ 2 M / [ n ( 1 + δ )] 與 τ 2 M / [ n ( 1 − δ ) ] \tau^2M/[n(1-\delta)] τ 2 M / [ n ( 1 − δ )] 之間。不需要假設雜訊服從正態分布。
證明思路
令 A = W 1 / 2 Φ A=W^{1/2}\Phi A = W 1/2 Φ 及 z = W 1 / 2 Δ y z=W^{1/2}\Delta y z = W 1/2 Δ y 。係數擾動滿足 A ⊤ A Δ c = A ⊤ z A^\top A\Delta c=A^\top z A ⊤ A Δ c = A ⊤ z 。與 Δ c \Delta c Δ c 取內積,得 ∥ A Δ c ∥ 2 = ⟨ A Δ c , z ⟩ ≤ ∥ A Δ c ∥ ∥ z ∥ \|A\Delta c\|^2=\langle A\Delta c,z\rangle\leq\|A\Delta c\|\|z\| ∥ A Δ c ∥ 2 = ⟨ A Δ c , z ⟩ ≤ ∥ A Δ c ∥∥ z ∥ 。若左邊的範數非零,便除以它;若為零,正定性迫使 Δ c = 0 \Delta c=0 Δ c = 0 。由於 ∥ A Δ c ∥ ≥ γ ∥ Δ c ∥ \|A\Delta c\|\geq\sqrt\gamma\|\Delta c\| ∥ A Δ c ∥ ≥ γ ∥Δ c ∥ ,穩定界隨之成立。範數等價的斷言就是 G G G 的 Rayleigh 商界。
把 y = Φ c ∗ + r s + ϵ y=\Phi c_*+r_s+\epsilon y = Φ c ∗ + r s + ϵ 代入擬合方程,得 c ^ − c ∗ = b + G − 1 Φ ⊤ W ϵ \widehat c-c_*=b+G^{-1}\Phi^\top W\epsilon c − c ∗ = b + G − 1 Φ ⊤ W ϵ 。雜訊項均值為零,協方差為 τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 \tau^2G^{-1}\Phi^\top W^2\Phi G^{-1} τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 ;其歐氏(Euclidean)範數平方的期望就是這個協方差的跡。連續正交性給出殘差 r r r 與多項式係數誤差之間的畢氏(Pythagoras)恆等式。取平均並利用雜訊均值為零,便證得第二個定理。
證明透視
哪一種正交性產生哪一項 這個恆等式依賴兩種不同的正交性,分別用在不同地方。在 ν \nu ν 下 r r r 與 V V V 的連續正交性給出畢氏分解 ∥ f − f ^ ∥ ν 2 = ∥ r ∥ ν 2 + ∥ c ^ − c ∗ ∥ 2 \|f-\widehat f\|_\nu^2=\|r\|_\nu^2+\|\widehat c-c_*\|^2 ∥ f − f ∥ ν 2 = ∥ r ∥ ν 2 + ∥ c − c ∗ ∥ 2 ;它也使係數誤差不帶任何常數地等於函數誤差。然而樣本擬合以離散權重作投影,而在那個內積下 r r r 一般不與 V V V 正交;這種失效正是混疊向量 b b b ,它是確定性的。
b b b 與雜訊項之間的交叉項只在取平均後才消失,因為設計固定而誤差均值為零;由於 b b b 不是隨機的,毋須假設它與雜訊獨立。獨立性與等方差只在協方差 τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 \tau^2G^{-1}\Phi^\top W^2\Phi G^{-1} τ 2 G − 1 Φ ⊤ W 2 Φ G − 1 中出現,而且任何地方都沒有用到正態假設。
等權時 W 2 = W / n W^2=W/n W 2 = W / n ,協方差化簡為 τ 2 G − 1 / n \tau^2G^{-1}/n τ 2 G − 1 / n 。把逆特徵值相加便得所述上下界。一般而言,不等式 W 2 ⪯ w max W W^2\preceq w_{\max}W W 2 ⪯ w m a x W 給出方差上界 τ 2 w max tr ( G − 1 ) \tau^2w_{\max}\operatorname{tr}(G^{-1}) τ 2 w m a x tr ( G − 1 ) 。這說明即使權重總和仍為一,過度集中的權重也會削弱有效的平均作用。
概念視角 幾何
同一殘差,兩種不同的正交測試 殘差在對測度積分的內積下,垂直於每個近似多項式;在有限加權和下卻未必垂直。向量 Φ ⊤ W r s \Phi^\top Wr_s Φ ⊤ W r s 正是這個差別。因此,即使沒有雜訊、離散方程也精確求解,樣本係數仍可能偏離連續投影。說一組基正交時,必須說明是哪個內積。
計算時,先構造加權矩陣 A A A 及反應 W 1 / 2 y W^{1/2}y W 1/2 y ,再以可揭示秩的 QR 分解或奇異值分解求解。正規方程描述最小化解,但若用作數值求解方法,會把矩陣的條件數平方。換成連續標準正交基有助理解問題,卻不能取代檢查取樣矩陣的奇異值。
同一幾何也解釋了逐點預測的不確定性為何可以不均勻。令 K ( x ) = ∑ j ϕ j ( x ) 2 K(x)=\sum\limits_j\phi_j(x)^2 K ( x ) = j ∑ ϕ j ( x ) 2 。Cauchy–Schwarz 給出 ∣ ϕ ( x ) ⊤ c ∣ 2 ≤ K ( x ) ∥ c ∥ 2 |\phi(x)^\top c|^2\leq K(x)\|c\|^2 ∣ ϕ ( x ) ⊤ c ∣ 2 ≤ K ( x ) ∥ c ∥ 2 。在等權獨立雜訊下,逐點擬合方差為 τ 2 ϕ ( x ) ⊤ G − 1 ϕ ( x ) / n \tau^2\phi(x)^\top G^{-1}\phi(x)/n τ 2 ϕ ( x ) ⊤ G − 1 ϕ ( x ) / n ,至多為 τ 2 K ( x ) / ( n γ ) \tau^2K(x)/(n\gamma) τ 2 K ( x ) / ( nγ ) 。K K K 的連續平均為 M M M ,但在個別點的值可以大得多;對上述三個多項式,其端點值為九。因此,整體積分意義下穩定的擬合,未必在每個位置都有同樣精確的預測。
在多變量中,複雜度變得具體。有二十個輸入時,總次數二的多項式已有 231 個係數,總次數三則有 1771 個。若無額外限制,無論用甚麼求解器,二百個觀測都不能唯一識別全部二次係數。在相同節點重複這些觀測,並不擴大設計的行空間;這可以平均掉獨立的量度雜訊,但在每個不同節點都為零的多項式仍然不可見。額外結構或懲罰項可以選出一個擬合函數,卻不會把原觀測變成關於那個缺失方向的資訊。
例題詳解
在上述三個基函數生成的空間中近似 f ( x ) = x 4 f(x)=x^4 f ( x ) = x 4 。其係數為 c ∗ , 0 = 1 / 5 c_{*,0}=1/5 c ∗ , 0 = 1/5 、c ∗ , 1 = 0 c_{*,1}=0 c ∗ , 1 = 0 及 c ∗ , 2 = 4 5 / 35 c_{*,2}=4\sqrt5/35 c ∗ , 2 = 4 5 /35 ,故 f V ( x ) = 6 x 2 / 7 − 3 / 35 f_V(x)=6x^2/7-3/35 f V ( x ) = 6 x 2 /7 − 3/35 。平方近似誤差為 E [ X 8 ] − c ∗ , 0 2 − c ∗ , 2 2 = 64 / 11025 E[X^8]-c_{*,0}^2-c_{*,2}^2=64/11025 E [ X 8 ] − c ∗ , 0 2 − c ∗ , 2 2 = 64/11025 。這是精確的積分誤差,不是訓練殘差。計算它需要指定的均勻測度;在無關的節點上擬合,未必得到同一組係數。
取節點 − 3 / 5 , 0 , 3 / 5 -\sqrt{3/5},0,\sqrt{3/5} − 3/5 , 0 , 3/5 及權重 5 / 18 , 4 / 9 , 5 / 18 5/18,4/9,5/18 5/18 , 4/9 , 5/18 。加權奇次矩為零,加權二階及四階矩分別等於 1 / 3 1/3 1/3 和 1 / 5 1/5 1/5 。因此上述基函數兩兩乘積的加權和恰好等於其連續內積,二次空間的 G = I G=I G = I 。
對該空間內的目標,取樣混疊項為零。在獨立且方差同為 τ 2 \tau^2 τ 2 的誤差下,雖然權重不相等,積分擬合方差仍為 τ 2 \tau^2 τ 2 。直接驗證:方陣 W 1 / 2 Φ W^{1/2}\Phi W 1/2 Φ 是正交矩陣,故 w i ∥ ϕ ( x i ) ∥ 2 = 1 w_i\|\phi(x_i)\|^2=1 w i ∥ ϕ ( x i ) ∥ 2 = 1 。於是協方差的跡為 τ 2 ∑ i w i 2 ∥ ϕ ( x i ) ∥ 2 = τ 2 ∑ i w i = τ 2 \tau^2\sum\limits_iw_i^2\|\phi(x_i)\|^2=\tau^2\sum\limits_iw_i=\tau^2 τ 2 i ∑ w i 2 ∥ ϕ ( x i ) ∥ 2 = τ 2 i ∑ w i = τ 2 。這個計算使用一般的加權公式,而不是未經論證地代入等權公式。
只用 ϕ 0 , ϕ 1 \phi_0,\phi_1 ϕ 0 , ϕ 1 ,並取等權節點 − a , a -a,a − a , a ,其中 0 < a ≤ 1 0<a\leq1 0 < a ≤ 1 。則 G = diag ( 1 , 3 a 2 ) G=\operatorname{diag}(1,3a^2) G = diag ( 1 , 3 a 2 ) 。對目標 x 2 x^2 x 2 ,無雜訊擬合多項式是常數 a 2 a^2 a 2 ,而最佳連續仿射近似是常數 1 / 3 1/3 1/3 。因此混疊貢獻為 ( a 2 − 1 / 3 ) 2 (a^2-1/3)^2 ( a 2 − 1/3 ) 2 ,連續殘差貢獻為 4 / 45 4/45 4/45 。
有兩個獨立的含雜訊量度時,精確預期誤差為 4 / 45 + ( a 2 − 1 / 3 ) 2 + τ 2 ( 1 + 1 / ( 3 a 2 ) ) / 2 4/45+(a^2-1/3)^2+\tau^2(1+1/(3a^2))/2 4/45 + ( a 2 − 1/3 ) 2 + τ 2 ( 1 + 1/ ( 3 a 2 )) /2 。節點趨近零時,斜率方差發散。大量重複這種接近零的量度,可按其數目降低雜訊,但固定而細小的空間跨度仍令斜率估計代價高昂。當 a = 0 a=0 a = 0 時,斜率完全不可識別,可逆矩陣公式不再適用。
常見錯誤
第二個定理把混疊與穩定性分開,兩者確實不同。
反例模式
離散 Gram 矩陣為單位矩陣並不消除取樣混疊 斷言:若加權節點重現 V V V 的連續幾何,即 G = I G=I G = I ,則無雜訊樣本擬合等於連續投影。取第二個例題中 G = I G=I G = I 的三節點規則,以及第一個例題的目標 f ( x ) = x 4 f(x)=x^4 f ( x ) = x 4 。樣本值為 9 / 25 , 0 , 9 / 25 9/25,0,9/25 9/25 , 0 , 9/25 。因 G = I G=I G = I ,擬合為 c ^ = Φ ⊤ W y \widehat c=\Phi^\top Wy c = Φ ⊤ W y :奇對稱給出 c ^ 1 = 0 \widehat c_1=0 c 1 = 0 ,規則給出 c ^ 0 = 2 ⋅ 5 18 ⋅ 9 25 = 1 5 \widehat c_0=2\cdot\frac5{18}\cdot\frac9{25}=\frac15 c 0 = 2 ⋅ 18 5 ⋅ 25 9 = 5 1 ,而
c ^ 2 = 2 ⋅ 5 18 ⋅ 5 2 ( 3 ⋅ 3 5 − 1 ) 9 25 = 2 5 25 ≠ 4 5 35 = c ∗ , 2 . \widehat c_2=2\cdot\frac5{18}\cdot\frac{\sqrt5}{2}\Bigl(3\cdot\frac35-1\Bigr)\frac9{25}=\frac{2\sqrt5}{25}\neq\frac{4\sqrt5}{35}=c_{*,2}. c 2 = 2 ⋅ 18 5 ⋅ 2 5 ( 3 ⋅ 5 3 − 1 ) 25 9 = 25 2 5 = 35 4 5 = c ∗ , 2 . 擬合多項式是 3 x 2 / 5 3x^2/5 3 x 2 /5 ,而非 6 x 2 / 7 − 3 / 35 6x^2/7-3/35 6 x 2 /7 − 3/35 。混疊項為 ∥ b ∥ 2 = ( 6 5 / 175 ) 2 = 36 / 6125 \|b\|^2=(6\sqrt5/175)^2=36/6125 ∥ b ∥ 2 = ( 6 5 /175 ) 2 = 36/6125 ,與 ∥ r ∥ ν 2 = 64 / 11025 \|r\|_\nu^2=64/11025 ∥ r ∥ ν 2 = 64/11025 大小相若;總誤差 644 / 55125 644/55125 644/55125 與直接積分 ( x 4 − 3 x 2 / 5 ) 2 (x^4-3x^2/5)^2 ( x 4 − 3 x 2 /5 ) 2 的結果一致。此規則只對至多五次的多項式精確積分,而 r ϕ 2 r\phi_2 r ϕ 2 是六次。正確的陳述就是定理:G = I G=I G = I 控制穩定性與方差,混疊則只在加權和亦重現 r r r 與基函數的內積時才消失,例如 f ∈ V f\in V f ∈ V 。
更多多項式項並不只是降低近似誤差。它們擴大取樣矩陣,可能引入近似相依,並增加方差跡。簡單的 M / n M/n M / n 雜訊尺度需要條件良好的等權設計,並不是適用於每個多項式擬合的一般公式。用同一批觀測選擇次數也會改變估計量,此時固定空間的計算必須輔以選擇分析。
求積對基乘積精確,只控制 Gram,未必控制任意目標殘差與基的乘積,所以不必消除混疊;上面的反例正是如此。目標可以在全部節點為零,在節點之間卻幾乎處處非零。精確算術或零訓練殘差都不能補回這部分缺失的資訊。
等觀測方差是模型假設。若方差不同,推導中須以其協方差矩陣代替 τ 2 I \tau^2I τ 2 I 。反方差加權對估計某些係數可能合理,但仍須指明所要的連續誤差量度及樣本幾何。為一個目的選擇的權重,不會自動對其他目的都最優。
公式亦假設記錄的輸入就是真正的設計位置。輸入座標若有誤差,改變的是基函數的取值本身,而不只是反應向量;這需要額外的模型,不在反應雜訊恆等式的範圍之內。
總結
連續正交性把空間內的函數誤差化為係數誤差。取樣則引入控制穩定性的離散 Gram。完整預期誤差分成連續近似、確定混疊及量度方差。因此可靠近似需要合適空間、有資訊的節點、合理權重及穩定求解器,不能只調多項式次數。
練習
快速檢查
(驗證在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上的均勻概率測度下,ϕ 2 \phi_2 ϕ 2 與 1 1 1 及 x x x 都正交,且平方範數為一。指出用到的每一個矩。)
解答 · 答案 與常數的內積為 5 ( 3 E [ X 2 ] − 1 ) / 2 = 0 \sqrt5(3E[X^2]-1)/2=0 5 ( 3 E [ X 2 ] − 1 ) /2 = 0 ,因為 E [ X 2 ] = 1 / 3 E[X^2]=1/3 E [ X 2 ] = 1/3 。與 x x x 的內積為零,因為一階及三階矩都為零。平方範數為 5 ( 9 E [ X 4 ] − 6 E [ X 2 ] + 1 ) / 4 = 5 ( 9 / 5 − 2 + 1 ) / 4 = 1 5(9E[X^4]-6E[X^2]+1)/4=5(9/5-2+1)/4=1 5 ( 9 E [ X 4 ] − 6 E [ X 2 ] + 1 ) /4 = 5 ( 9/5 − 2 + 1 ) /4 = 1 。因此用到的矩是一至四階矩,以及 E [ 1 ] = 1 E[1]=1 E [ 1 ] = 1 。
快速檢查
(一個固定等權設計有 n = 100 n=100 n = 100 、三個連續標準正交基函數,Gram 特徵值為 1 / 2 , 1 , 3 / 2 1/2,1,3/2 1/2 , 1 , 3/2 。若目標屬於它們的生成空間,求在獨立雜訊方差 τ 2 \tau^2 τ 2 下的預期積分擬合誤差。)
解答 · 答案 由於目標在固定空間內,近似項與混疊項都為零。逆特徵值之和為 2 + 1 + 2 / 3 = 11 / 3 2+1+2/3=11/3 2 + 1 + 2/3 = 11/3 ,所以預期積分誤差為 11 τ 2 / 300 11\tau^2/300 11 τ 2 /300 。不需要正態性;具有所述有限方差的獨立零均值誤差已足夠。
快速檢查
(對求積例題的三個節點,取無雜訊目標 P 3 ( x ) = ( 5 x 3 − 3 x ) / 2 P_3(x)=(5x^3-3x)/2 P 3 ( x ) = ( 5 x 3 − 3 x ) /2 。它的二次樣本擬合是甚麼?計算其連續平方誤差,並解釋零訓練殘差。)
解答 · 答案 三個節點都是 P 3 P_3 P 3 的根,所以樣本值為零,唯一的二次樣本擬合也是零。直接積分得 ∥ P 3 ∥ ν 2 = ( 25 / 7 − 30 / 5 + 9 / 3 ) / 4 = 1 / 7 \|P_3\|_\nu^2=(25/7-30/5+9/3)/4=1/7 ∥ P 3 ∥ ν 2 = ( 25/7 − 30/5 + 9/3 ) /4 = 1/7 。在不受限制的函數族中,目標不能由三個點值決定。因此,即使求積精確保留二次基函數的乘積,零訓練殘差仍可與正的積分誤差並存。
快速檢查
(以權重 w w w 及 1 − w 1-w 1 − w ,用兩個雜訊獨立且方差同為 τ 2 \tau^2 τ 2 的量度擬合一個常數。求擬合常數的方差及使其最小的權重。為何單看 Gram 矩陣不能揭示這個方差差別?)
解答 · 答案 擬合常數是加權平均,方差為 τ 2 [ w 2 + ( 1 − w ) 2 ] = τ 2 [ 2 ( w − 1 / 2 ) 2 + 1 / 2 ] \tau^2[w^2+(1-w)^2]=\tau^2[2(w-1/2)^2+1/2] τ 2 [ w 2 + ( 1 − w ) 2 ] = τ 2 [ 2 ( w − 1/2 ) 2 + 1/2 ] 。最小值在等權時取得,為 τ 2 / 2 \tau^2/2 τ 2 /2 。以常數為基時,對任何權重都有 G = ∑ i w i = 1 G=\sum\limits_iw_i=1 G = i ∑ w i = 1 ,但協方差還含有權重的平方。忽略這個額外矩陣,便會抹去這個統計上的差別。