動機
選定有限個基函數,就能把未知函數的近似問題化為有限個係數的估計問題。真正困難的選擇是係數所描述的函數空間。單變量中適中的多項式次數,到了多變量時可能已有難以負擔的係數數目。另一方面,即使每個解快照有很多座標,代表性快照仍可能接近一個低維線性空間。兩者都在回答同一問題:哪種受限制的函數族,能以明確誤差表示我們關心的對象?
已有迴歸及主成分筆記處理數據擬合和矩陣座標。本節補上函數近似觀點:概率測度決定誤差範數,多項式指標集決定複雜度,本徵正交分解(proper orthogonal decomposition,POD)則從加權快照選出空間子空間。樣本重建誤差小,不表示每個未來狀態的誤差都小;要從樣本推到整個函數族,需要額外假設。
預備知識是內積、正交投影、實對稱矩陣特徵值,以及基本概率。我們分別證明立方體上的構造性近似定理及有限數據的最優化定理。兩者都沒有保證所有高維光滑函數可以廉價近似;定理的成本與假設正好揭示可行性及限制。
定義
設 ν \nu ν 是定義域 D D D 上的概率測度。空間 L 2 ( ν ) L^2(\nu) L 2 ( ν ) 把幾乎處處相等的函數視為同一元素,內積為 ⟨ f , g ⟩ = ∫ D f g d ν \langle f,g\rangle=\int_D fg\,d\nu ⟨ f , g ⟩ = ∫ D f g d ν ,平方範數為 ∥ f ∥ ν 2 = ∫ D ∣ f ∣ 2 d ν \|f\|_\nu^2=\int_D|f|^2\,d\nu ∥ f ∥ ν 2 = ∫ D ∣ f ∣ 2 d ν 。有限維子空間 V V V 去除零範數的冗餘後,可選取標準正交基 ϕ 1 , … , ϕ M \phi_1,\ldots,\phi_M ϕ 1 , … , ϕ M ,其正交投影為 P V f = ∑ j ⟨ f , ϕ j ⟩ ϕ j P_Vf=\sum\limits_j\langle f,\phi_j\rangle\phi_j P V f = j ∑ ⟨ f , ϕ j ⟩ ϕ j 。
測度不是附帶細節。均勻近似控制最大逐點誤差,L 2 L^2 L 2 範數則按 ν \nu ν 分配重要性。平均平方誤差小的函數,仍可在小概率區域有大誤差。只在有限節點量度誤差又是另一種經驗範數;若不同函數在全部節點相同,它在原函數空間只是一個半範數。
d d d 個變量的多重指標 α = ( α 1 , … , α d ) \alpha=(\alpha_1,\ldots,\alpha_d) α = ( α 1 , … , α d ) 各座標為非負整數,總次數為 ∣ α ∣ = ∑ j α j |\alpha|=\sum\limits_j\alpha_j ∣ α ∣ = j ∑ α j ,單項式為 x α = ∏ j x j α j x^\alpha=\prod\limits_jx_j^{\alpha_j} x α = j ∏ x j α j 。張量多項式空間要求每個座標 0 ≤ α j ≤ m 0\leq\alpha_j\leq m 0 ≤ α j ≤ m ,維數為 ( m + 1 ) d (m+1)^d ( m + 1 ) d ;總次數空間要求 ∣ α ∣ ≤ m |\alpha|\leq m ∣ α ∣ ≤ m ,維數為 ( m + d d ) \binom{m+d}{d} ( d m + d ) 。這是兩個不同空間,縮減指標集可節省成本,也會失去一些候選近似。
連續函數在 [ 0 , 1 ] d [0,1]^d [ 0 , 1 ] d 上、座標次數 m ≥ 1 m\geq1 m ≥ 1 的張量 Bernstein 多項式為
B m f ( x ) = ∑ k 1 = 0 m ⋯ ∑ k d = 0 m f ( k / m ) ∏ j = 1 d ( m k j ) x j k j ( 1 − x j ) m − k j . B_mf(x)=\sum_{k_1=0}^m\cdots\sum_{k_d=0}^m
f(k/m)\prod_{j=1}^d\binom m{k_j}x_j^{k_j}(1-x_j)^{m-k_j}. B m f ( x ) = k 1 = 0 ∑ m ⋯ k d = 0 ∑ m f ( k / m ) j = 1 ∏ d ( k j m ) x j k j ( 1 − x j ) m − k j .
其中向量 k / m k/m k / m 表示逐座標相除。固定 x x x 後,令 K j K_j K j 為互相獨立、參數為 m , x j m,x_j m , x j 的二項隨機變量,基函數權重就是它們的聯合概率,所以 B m f ( x ) = E [ f ( K / m ) ] B_mf(x)=E[f(K/m)] B m f ( x ) = E [ f ( K / m )] 。這個概率表示用來證明定理,實際求多項式值不需要做隨機模擬。
POD 使用快照 u 1 , … , u N ∈ R q u_1,\ldots,u_N\in\mathbb R^q u 1 , … , u N ∈ R q ,配上總和為一的嚴格正權重 w i w_i w i 。令 A = [ w 1 u 1 ⋯ w N u N ] A=[\sqrt{w_1}u_1\ \cdots\ \sqrt{w_N}u_N] A = [ w 1 u 1 ⋯ w N u N ] 及 C = A A ⊤ C=AA^\top C = A A ⊤ 。秩為 r r r 的正交投影 P P P 表示一個 r r r 維子空間,其中 0 ≤ r ≤ q 0\leq r\leq q 0 ≤ r ≤ q 。平均重建誤差為 ∑ i w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 \sum\limits_iw_i\|u_i-Pu_i\|^2=\|(I-P)A\|_F^2 i ∑ w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 。本節不先中心化,所以近似空間必須通過原點。
定理 / 命題
定理 8.1.1
(投影最佳性與構造性多項式誤差界)
對 f ∈ L 2 ( ν ) f\in L^2(\nu) f ∈ L 2 ( ν ) 及有限維子空間 V V V ,每個 v ∈ V v\in V v ∈ V 都滿足
∥ f − v ∥ ν 2 = ∥ f − P V f ∥ ν 2 + ∥ P V f − v ∥ ν 2 . \|f-v\|_\nu^2=\|f-P_Vf\|_\nu^2+\|P_Vf-v\|_\nu^2. ∥ f − v ∥ ν 2 = ∥ f − P V f ∥ ν 2 + ∥ P V f − v ∥ ν 2 . 所以 P V f P_Vf P V f 是 L 2 ( ν ) L^2(\nu) L 2 ( ν ) 中唯一的最佳近似元素。若 [ 0 , 1 ] d [0,1]^d [ 0 , 1 ] d 上的 f f f 相對歐氏(Euclidean)距離有 Lipschitz 常數 L L L ,則
∥ B m f − f ∥ ∞ ≤ L 2 d m . \|B_mf-f\|_\infty\leq\frac L2\sqrt{\frac d m}. ∥ B m f − f ∥ ∞ ≤ 2 L m d . 構造最多使用 ( m + 1 ) d (m+1)^d ( m + 1 ) d 個取值。此界證明固定維數時的收斂,並沒有證明計算成本與維數無關。
第二個定理把固定的函數空間換成由數據選出的線性子空間。
設 C = A A ⊤ C=AA^\top C = A A ⊤ 的特徵值為 λ 1 ≥ ⋯ ≥ λ q ≥ 0 \lambda_1\geq\cdots\geq\lambda_q\geq0 λ 1 ≥ ⋯ ≥ λ q ≥ 0 。在所有秩為 r r r 的正交投影中,投影到對應最大 r r r 個特徵值的特徵向量所生成的空間,可使平均快照重建誤差最小,其值為
min P ∑ i = 1 N w i ∥ u i − P u i ∥ 2 = ∑ j = r + 1 q λ j . \min_P\sum_{i=1}^Nw_i\|u_i-Pu_i\|^2
=\sum_{j=r+1}^q\lambda_j. P min i = 1 ∑ N w i ∥ u i − P u i ∥ 2 = j = r + 1 ∑ q λ j . 對 0 < r < q 0<r<q 0 < r < q ,若有嚴格間隙 λ r > λ r + 1 \lambda_r>\lambda_{r+1} λ r > λ r + 1 ,最佳子空間唯一。若截斷穿過重複特徵值,可能有多個最佳子空間。結論只針對指定快照、權重、歐氏範數及線性子空間。
概念視角 代數
POD 是快照矩陣的最佳低秩近似 C = A A ⊤ C=AA^\top C = A A ⊤ 的非零特徵值正是 A A A 的非零奇異值的平方 σ j 2 \sigma_j^2 σ j 2 ,而 POD 模態就是 A A A 的前幾個左奇異向量。因此定理也是一個矩陣命題:在所有秩不超過 r r r 的 q × N q\times N q × N 矩陣 B B B 中,∥ A − B ∥ F 2 \|A-B\|_F^2 ∥ A − B ∥ F 2 的最小值是 ∑ j > r λ j \sum\limits_{j>r}\lambda_j j > r ∑ λ j ,由 B = P A B=PA B = P A 達到。理由是:一旦 B B B 的列空間包含於秩 r r r 投影 P P P 的值域,逐列來看,最接近 A A A 的這類矩陣就是 P A PA P A 。
證明思路
殘差 f − P V f f-P_Vf f − P V f 與每個基函數正交,所以與整個 V V V 正交。在 f − v = ( f − P V f ) + ( P V f − v ) f-v=(f-P_Vf)+(P_Vf-v) f − v = ( f − P V f ) + ( P V f − v ) 中兩項互相垂直,展開平方範數即得投影恆等式。第二項只在 L 2 ( ν ) L^2(\nu) L 2 ( ν ) 中 v = P V f v=P_Vf v = P V f 時為零,這就是唯一性。
至於多項式誤差界,概率表示及 Lipschitz 假設給出
∣ B m f ( x ) − f ( x ) ∣ ≤ L E ∥ K / m − x ∥ ≤ L E ∥ K / m − x ∥ 2 = L ∑ j = 1 d x j ( 1 − x j ) m . |B_mf(x)-f(x)|\leq L E\|K/m-x\|
\leq L\sqrt{E\|K/m-x\|^2}
=L\sqrt{\sum_{j=1}^d\frac{x_j(1-x_j)}m}. ∣ B m f ( x ) − f ( x ) ∣ ≤ L E ∥ K / m − x ∥ ≤ L E ∥ K / m − x ∥ 2 = L j = 1 ∑ d m x j ( 1 − x j ) . 中間一步是 Cauchy–Schwarz,等號用了 E [ K j / m ] = x j E[K_j/m]=x_j E [ K j / m ] = x j 及 Var ( K j / m ) = x j ( 1 − x j ) / m \operatorname{Var}(K_j/m)=x_j(1-x_j)/m Var ( K j / m ) = x j ( 1 − x j ) / m 。每項不超過 1 / ( 4 m ) 1/(4m) 1/ ( 4 m ) ,所以對每個 x x x ,右方不超過 ( L / 2 ) d / m (L/2)\sqrt{d/m} ( L /2 ) d / m 。
在非正交基底下,同一正交論證導出 Gram 線性方程組。即使最佳函數確定,病態座標仍可令數值求解困難,這兩件事必須區分。Bernstein 論證給出一個可靠的速率,但不一定是每個較光滑函數最尖銳的速率:多項式精確重現仿射函數,額外結構亦可大幅改善實際誤差。
由於 I − P I-P I − P 對稱且冪等,
∑ i = 1 N w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 = tr ( A ⊤ ( I − P ) A ) = tr ( C ) − tr ( P C ) . \sum_{i=1}^Nw_i\|u_i-Pu_i\|^2=\|(I-P)A\|_F^2=\operatorname{tr}\bigl(A^\top(I-P)A\bigr)=\operatorname{tr}(C)-\operatorname{tr}(PC). i = 1 ∑ N w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 = tr ( A ⊤ ( I − P ) A ) = tr ( C ) − tr ( P C ) . 取標準正交特徵基 e 1 , … , e q e_1,\ldots,e_q e 1 , … , e q ,C e j = λ j e j Ce_j=\lambda_je_j C e j = λ j e j ,並令 a j = ∥ P e j ∥ 2 = e j ⊤ P e j a_j=\|Pe_j\|^2=e_j^\top Pe_j a j = ∥ P e j ∥ 2 = e j ⊤ P e j 。於是 tr ( P C ) = ∑ j λ j a j \operatorname{tr}(PC)=\sum\limits_j\lambda_ja_j tr ( P C ) = j ∑ λ j a j ;正交投影不增加長度,所以每個 a j ∈ [ 0 , 1 ] a_j\in[0,1] a j ∈ [ 0 , 1 ] ;又 ∑ j a j = tr P = r \sum\limits_ja_j=\operatorname{tr}P=r j ∑ a j = tr P = r 。r = 0 r=0 r = 0 及 r = q r=q r = q 的情況是直接的,故設 0 < r < q 0<r<q 0 < r < q ,並令 s = ∑ j > r a j = ∑ j ≤ r ( 1 − a j ) ≥ 0 s=\sum\limits_{j>r}a_j=\sum\limits_{j\leq r}(1-a_j)\geq0 s = j > r ∑ a j = j ≤ r ∑ ( 1 − a j ) ≥ 0 。利用 j ≤ r j\leq r j ≤ r 時 λ j ≥ λ r \lambda_j\geq\lambda_r λ j ≥ λ r 、j > r j>r j > r 時 λ j ≤ λ r + 1 \lambda_j\leq\lambda_{r+1} λ j ≤ λ r + 1 ,
∑ j = 1 q λ j a j − ∑ j = 1 r λ j = ∑ j > r λ j a j − ∑ j ≤ r λ j ( 1 − a j ) ≤ ( λ r + 1 − λ r ) s ≤ 0. \sum_{j=1}^q\lambda_ja_j-\sum_{j=1}^r\lambda_j
=\sum_{j>r}\lambda_ja_j-\sum_{j\leq r}\lambda_j(1-a_j)
\leq(\lambda_{r+1}-\lambda_r)\,s\leq0. j = 1 ∑ q λ j a j − j = 1 ∑ r λ j = j > r ∑ λ j a j − j ≤ r ∑ λ j ( 1 − a j ) ≤ ( λ r + 1 − λ r ) s ≤ 0. 投影到 span { e 1 , … , e r } \operatorname{span}\{e_1,\ldots,e_r\} span { e 1 , … , e r } 時 s = 0 s=0 s = 0 ,等號成立,所以最小誤差為 tr ( C ) − ∑ j ≤ r λ j = ∑ j > r λ j \operatorname{tr}(C)-\sum\limits_{j\leq r}\lambda_j=\sum\limits_{j>r}\lambda_j tr ( C ) − j ≤ r ∑ λ j = j > r ∑ λ j 。若 λ r > λ r + 1 \lambda_r>\lambda_{r+1} λ r > λ r + 1 ,等號迫使 s = 0 s=0 s = 0 ,即對每個 j ≤ r j\leq r j ≤ r 有 a j = 1 a_j=1 a j = 1 及 e j ∈ range P e_j\in\operatorname{range}P e j ∈ range P 。這 r r r 個向量生成 r r r 維的值域,所以最佳子空間唯一。
證明透視
投影的限制條件在哪裏起作用 證明從不直接在子空間上最優化。跡恆等式把誤差變成數 a j a_j a j 的線性函數,P P P 的全部幾何被壓縮成兩個限制:0 ≤ a j ≤ 1 0\leq a_j\leq1 0 ≤ a j ≤ 1 及 ∑ j a j = r \sum\limits_ja_j=r j ∑ a j = r 。兩者都用到 P P P 是秩為 r r r 的正交投影;斜投影可以有 ∥ P e j ∥ > 1 \|Pe_j\|>1 ∥ P e j ∥ > 1 ,上界便會失效。
關鍵一步是交換量 s s s 。P P P 放在截斷以下的權重,必然是截斷以上位置所缺少的權重,而每一單位這樣的權重令保留能量改變最多 λ r + 1 − λ r \lambda_{r+1}-\lambda_r λ r + 1 − λ r 。論證以兩種方式收結:主特徵向量達到下界,給出最小值;因子 λ r + 1 − λ r \lambda_{r+1}-\lambda_r λ r + 1 − λ r 只有在嚴格為負時才給出唯一性。若特徵值相等,此因子為零,s s s 不受限制,同一特徵空間內的不同子空間有相同誤差。
若物理內積為 u ⊤ M v u^\top Mv u ⊤ M v ,其中 M M M 正定,先把快照乘以 M 1 / 2 M^{1/2} M 1/2 ,再作歐氏 POD,最後變回原座標,才得到在 M M M 內積下標準正交的模式。直接對未轉換快照套用歐氏公式,會靜靜地解另一個問題。
當空間維數大而快照較少,可求快照 Gram 矩陣 G = A ⊤ A G=A^\top A G = A ⊤ A 的非零特徵值。若 G v = λ v Gv=\lambda v G v = λ v ,v v v 為單位向量且 λ > 0 \lambda>0 λ > 0 ,則 A v / λ Av/\sqrt\lambda A v / λ 是 C C C 的單位特徵向量:其平方範數為 v ⊤ G v / λ = 1 v^\top Gv/\lambda=1 v ⊤ G v / λ = 1 ,再乘以 C C C 即得特徵方程。這樣無須儲存較大的協方差矩陣。零特徵值不能用此除法,超過快照秩的模式亦不是數據所能識別的。
連續多項式投影的內積需要對所選測度積分。改用求積或樣本平均會產生另一個有限問題;節點不足時,連續空間中獨立的基函數可能在節點上無法區分,令 Gram 矩陣奇異。即使節點多,位置不好也可能不能區分重要函數。因此求積誤差、節點幾何及原來的近似誤差要分別分析。
例題詳解
在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上採用均勻概率測度,以 a + b x a+bx a + b x 近似 f ( x ) = x 2 f(x)=x^2 f ( x ) = x 2 。對 1 1 1 及 x x x 的正交條件給出 a = 1 / 3 a=1/3 a = 1/3 、b = 0 b=0 b = 0 ,因為 E [ X 2 ] = 1 / 3 E[X^2]=1/3 E [ X 2 ] = 1/3 而奇次矩為零。最小平方誤差為 E [ ( X 2 − 1 / 3 ) 2 ] = 1 / 5 − 1 / 9 = 4 / 45 E[(X^2-1/3)^2]=1/5-1/9=4/45 E [( X 2 − 1/3 ) 2 ] = 1/5 − 1/9 = 4/45 。若改為在兩端點插值,得到常數 1 1 1 ,誤差卻是 E [ ( X 2 − 1 ) 2 ] = 8 / 15 E[(X^2-1)^2]=8/15 E [( X 2 − 1 ) 2 ] = 8/15 。兩者都是合法構造,但優化目標不同;最佳平均近似不一定通過任何端點。
例題 8.1.4
(精確 Bernstein 計算及維數比較)
對 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上的 f ( x ) = x 2 f(x)=x^2 f ( x ) = x 2 ,二項分布的二階矩恆等式給出 B m f ( x ) = x 2 + x ( 1 − x ) / m B_mf(x)=x^2+x(1-x)/m B m f ( x ) = x 2 + x ( 1 − x ) / m 。均勻誤差恰為 1 / ( 4 m ) 1/(4m) 1/ ( 4 m ) ,在 x = 1 / 2 x=1/2 x = 1/2 達到,比一般 Lipschitz 界快,因為這個函數有額外光滑性。六個變量、座標次數七時,張量空間有 8 6 = 262144 8^6=262144 8 6 = 262144 個係數;總次數不超過七的空間只有 ( 13 6 ) = 1716 \binom{13}{6}=1716 ( 6 13 ) = 1716 個。節省很多,卻不能互換:張量單項式 x 1 7 x 2 7 x_1^7x_2^7 x 1 7 x 2 7 不屬於總次數七的空間。
取 u 1 = ( 3 , 0 ) ⊤ u_1=(3,0)^\top u 1 = ( 3 , 0 ) ⊤ 、u 2 = ( 0 , 1 ) ⊤ u_2=(0,1)^\top u 2 = ( 0 , 1 ) ⊤ ,權重相等,則 C = diag ( 9 / 2 , 1 / 2 ) C=\operatorname{diag}(9/2,1/2) C = diag ( 9/2 , 1/2 ) 。最佳一維子空間是水平軸,平均平方誤差為 1 / 2 1/2 1/2 。若權重改為 w 1 = 1 / 20 w_1=1/20 w 1 = 1/20 、w 2 = 19 / 20 w_2=19/20 w 2 = 19/20 ,則 C = diag ( 9 / 20 , 19 / 20 ) C=\operatorname{diag}(9/20,19/20) C = diag ( 9/20 , 19/20 ) ,最佳子空間變為垂直軸,最小誤差為 9 / 20 9/20 9/20 。因此模式排名是對指定數據權重的結論,而不是座標方向本身的排名。
等權快照若先中心化,得到 ( 3 / 2 , − 1 / 2 ) (3/2,-1/2) ( 3/2 , − 1/2 ) 及其相反向量,兩者位於同一直線,故中心化的秩一重建誤差為零。加回平均後得到通過兩個原快照的仿射直線,並非無中心化 POD 所用、通過原點的直線。
常見錯誤
「七次」必須說明是座標次數還是總次數;只用次數表示的誤差估計可能隱藏指數增長的係數數目。稀疏指標集、低秩張量模型及可加結構可能有幫助,但每一類都需要針對所考慮函數類的近似論證。
POD 最小化的是加權總和,低權重狀態可以有大殘差。與所有保留模式正交的未來狀態可能被完全漏掉;即使在快照集上誤差為零,也不能給出未觀測狀態的均勻誤差界。
中心化把近似族由通過原點的子空間,變成加回平均後的仿射族;換用另一個物理範數亦會改變最佳解。特徵值接近時,個別模式在擾動下可能很不穩定;準確重建的子空間往往比單一近乎重複的特徵向量方向更有意義。
反例模式
平均最佳不等於最壞情況最佳 錯誤說法:L 2 ( ν ) L^2(\nu) L 2 ( ν ) 投影同時使最大誤差最小。取 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上的均勻 ν \nu ν 、f ( x ) = x 2 f(x)=x^2 f ( x ) = x 2 及仿射近似。投影是常數 1 / 3 1/3 1/3 ,其誤差在 x = ± 1 x=\pm1 x = ± 1 達到 2 / 3 2/3 2/3 。常數 1 / 2 1/2 1/2 的誤差 x 2 − 1 / 2 ∈ [ − 1 / 2 , 1 / 2 ] x^2-1/2\in[-1/2,1/2] x 2 − 1/2 ∈ [ − 1/2 , 1/2 ] ,最大誤差為 1 / 2 < 2 / 3 1/2\lt2/3 1/2 < 2/3 ;但它的平均平方誤差是 1 / 5 − 1 / 3 + 1 / 4 = 7 / 60 > 4 / 45 1/5-1/3+1/4=7/60\gt4/45 1/5 − 1/3 + 1/4 = 7/60 > 4/45 。修正:投影只在定義它的範數下最佳;一致誤差保證需要一致的論證,例如 Bernstein 誤差界。
總結
投影在指定範數及空間內選出最佳函數;Bernstein 構造提供具體的多項式近似,也展示張量取值成本。POD 則依加權快照選擇適應數據的線性子空間,並以尾端特徵值之和精確表示平均重建誤差。實際應用仍須判斷,所選多項式結構或快照族是否代表真正關心而未觀測的函數。
練習
快速檢查
(設 X X X 在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上均勻分布。求 x 3 x^3 x 3 的最佳仿射 L 2 L^2 L 2 近似及其平方誤差。)
解答 · 答案 設近似為 a + b x a+bx a + b x 。對 1 1 1 正交給出 a = 0 a=0 a = 0 ;對 x x x 正交給出 b = E [ X 4 ] / E [ X 2 ] = ( 1 / 5 ) / ( 1 / 3 ) = 3 / 5 b=E[X^4]/E[X^2]=(1/5)/(1/3)=3/5 b = E [ X 4 ] / E [ X 2 ] = ( 1/5 ) / ( 1/3 ) = 3/5 。平方誤差為 E [ X 6 ] − ( E [ X 4 ] ) 2 / E [ X 2 ] = 1 / 7 − 3 / 25 = 4 / 175 E[X^6]-(E[X^4])^2/E[X^2]=1/7-3/25=4/175 E [ X 6 ] − ( E [ X 4 ] ) 2 / E [ X 2 ] = 1/7 − 3/25 = 4/175 。由於 1 1 1 與 x x x 互相正交且範數為正,係數唯一。
快速檢查
(設 [ 0 , 1 ] d [0,1]^d [ 0 , 1 ] d 上 f ( x ) = x 1 + ⋯ + x d f(x)=x_1+\cdots+x_d f ( x ) = x 1 + ⋯ + x d 。精確求其張量 Bernstein 多項式,並比較真實誤差與一般 Lipschitz 界。)
解答 · 答案 由線性性及 E [ K j / m ] = x j E[K_j/m]=x_j E [ K j / m ] = x j ,Bernstein 多項式恰為 f f f ,誤差為零。歐氏 Lipschitz 常數可取 d \sqrt d d ,所以一般界為 d / ( 2 m ) d/(2\sqrt m) d / ( 2 m ) 。非零上界與零真實誤差並不矛盾:證明所用的不等式對大得多的函數類成立,並沒有利用仿射函數被精確重現。
快速檢查
(快照 u 1 = ( 2 , 0 , 0 ) u_1=(2,0,0) u 1 = ( 2 , 0 , 0 ) 、u 2 = ( 0 , 2 , 0 ) u_2=(0,2,0) u 2 = ( 0 , 2 , 0 ) 、u 3 = ( 0 , 0 , 1 ) u_3=(0,0,1) u 3 = ( 0 , 0 , 1 ) 權重相等。求秩一及秩二的最小平均平方重建誤差。秩一最佳子空間是否唯一?)
解答 · 答案 協方差為 diag ( 4 / 3 , 4 / 3 , 1 / 3 ) \operatorname{diag}(4/3,4/3,1/3) diag ( 4/3 , 4/3 , 1/3 ) 。秩一最小誤差為 4 / 3 + 1 / 3 = 5 / 3 4/3+1/3=5/3 4/3 + 1/3 = 5/3 ,秩二最小誤差為 1 / 3 1/3 1/3 。由於最大特徵值重複,前兩個座標方向所張平面中的每條直線都是秩一最佳解。秩二截斷處有 4 / 3 > 1 / 3 4/3>1/3 4/3 > 1/3 ,所以秩二子空間唯一。
快速檢查
(快照協方差矩陣的特徵值為 9 , 4 , 1 , 0 9,4,1,0 9 , 4 , 1 , 0 。保留至少 90 % 90\% 90% 總能量的最小秩是多少?為甚麼這不是對每個狀態的 90 % 90\% 90% 保證?)
解答 · 答案 總能量為 14 14 14 。秩一保留 9 / 14 9/14 9/14 ,秩二保留 13 / 14 > 0.9 13/14>0.9 13/14 > 0.9 ,所以最小秩為二。捨棄的能量 1 1 1 只是加權整體結果。完全沿第三特徵向量的狀態會失去全部能量,說明平均能量準則不能推出逐個狀態的比例保證。