动机
选定有限个基函数,就能把未知函数的近似问题化为有限个系数的估计问题。真正困难的选择是系数所描述的函数空间。单变量中适中的多项式次数,到了多变量时可能已有难以负担的系数数目。另一方面,即使每个解快照有很多坐标,代表性快照仍可能接近一个低维线性空间。两者都在回答同一问题:哪种受限制的函数族,能以明确误差表示我们关心的对象?
已有回归及主成分笔记处理数据拟合和矩阵坐标。本节补上函数近似观点:概率测度决定误差范数,多项式指标集决定复杂度,本征正交分解(proper orthogonal decomposition,POD)则从加权快照选出空间子空间。样本重建误差小,不表示每个未来状态的误差都小;要从样本推到整个函数族,需要额外假设。
预备知识是内积、正交投影、实对称矩阵特征值,以及基本概率。我们分别证明立方体上的构造性近似定理及有限数据的最优化定理。两者都没有保证所有高维光滑函数可以廉价近似;定理的成本与假设正好揭示可行性及限制。
定义
设 ν \nu ν 是定义域 D D D 上的概率测度。空间 L 2 ( ν ) L^2(\nu) L 2 ( ν ) 把几乎处处相等的函数视为同一元素,内积为 ⟨ f , g ⟩ = ∫ D f g d ν \langle f,g\rangle=\int_D fg\,d\nu ⟨ f , g ⟩ = ∫ D f g d ν ,平方范数为 ∥ f ∥ ν 2 = ∫ D ∣ f ∣ 2 d ν \|f\|_\nu^2=\int_D|f|^2\,d\nu ∥ f ∥ ν 2 = ∫ D ∣ f ∣ 2 d ν 。有限维子空间 V V V 去除零范数的冗余后,可以选取标准正交基 ϕ 1 , … , ϕ M \phi_1,\ldots,\phi_M ϕ 1 , … , ϕ M ,其正交投影为 P V f = ∑ j ⟨ f , ϕ j ⟩ ϕ j P_Vf=\sum\limits_j\langle f,\phi_j\rangle\phi_j P V f = j ∑ ⟨ f , ϕ j ⟩ ϕ j 。
测度不是附带细节。一致近似控制最大逐点误差,L 2 L^2 L 2 范数则按 ν \nu ν 分配重要性。平均平方误差小的函数,仍可能在小概率区域有大误差。只在有限个节点上度量误差又是另一种经验范数;若不同函数在全部节点上取值相同,它在原函数空间上只是一个半范数。
d d d 个变量的多重指标 α = ( α 1 , … , α d ) \alpha=(\alpha_1,\ldots,\alpha_d) α = ( α 1 , … , α d ) 的各分量为非负整数,总次数为 ∣ α ∣ = ∑ j α j |\alpha|=\sum\limits_j\alpha_j ∣ α ∣ = j ∑ α j ,单项式为 x α = ∏ j x j α j x^\alpha=\prod\limits_jx_j^{\alpha_j} x α = j ∏ x j α j 。张量多项式空间要求每个分量 0 ≤ α j ≤ m 0\leq\alpha_j\leq m 0 ≤ α j ≤ m ,维数为 ( m + 1 ) d (m+1)^d ( m + 1 ) d ;总次数空间要求 ∣ α ∣ ≤ m |\alpha|\leq m ∣ α ∣ ≤ m ,维数为 ( m + d d ) \binom{m+d}{d} ( d m + d ) 。这是两个不同的空间,缩小指标集可以节省成本,也会失去一些候选近似。
连续函数在 [ 0 , 1 ] d [0,1]^d [ 0 , 1 ] d 上、坐标次数 m ≥ 1 m\geq1 m ≥ 1 的张量 Bernstein 多项式为
B m f ( x ) = ∑ k 1 = 0 m ⋯ ∑ k d = 0 m f ( k / m ) ∏ j = 1 d ( m k j ) x j k j ( 1 − x j ) m − k j . B_mf(x)=\sum_{k_1=0}^m\cdots\sum_{k_d=0}^m
f(k/m)\prod_{j=1}^d\binom m{k_j}x_j^{k_j}(1-x_j)^{m-k_j}. B m f ( x ) = k 1 = 0 ∑ m ⋯ k d = 0 ∑ m f ( k / m ) j = 1 ∏ d ( k j m ) x j k j ( 1 − x j ) m − k j .
其中向量 k / m k/m k / m 表示逐坐标相除。固定 x x x 后,令 K j K_j K j 为相互独立、参数为 m , x j m,x_j m , x j 的二项随机变量,基函数权重就是它们的联合概率,所以 B m f ( x ) = E [ f ( K / m ) ] B_mf(x)=E[f(K/m)] B m f ( x ) = E [ f ( K / m )] 。这个概率表示用于证明定理,实际计算多项式的值并不需要随机模拟。
POD 使用快照 u 1 , … , u N ∈ R q u_1,\ldots,u_N\in\mathbb R^q u 1 , … , u N ∈ R q ,配以总和为一的严格正权重 w i w_i w i 。令 A = [ w 1 u 1 ⋯ w N u N ] A=[\sqrt{w_1}u_1\ \cdots\ \sqrt{w_N}u_N] A = [ w 1 u 1 ⋯ w N u N ] 及 C = A A ⊤ C=AA^\top C = A A ⊤ 。秩为 r r r 的正交投影 P P P 表示一个 r r r 维子空间,其中 0 ≤ r ≤ q 0\leq r\leq q 0 ≤ r ≤ q 。平均重构误差为 ∑ i w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 \sum\limits_iw_i\|u_i-Pu_i\|^2=\|(I-P)A\|_F^2 i ∑ w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 。本节不先做中心化,所以近似空间必须经过原点。
定理 / 命题
定理 8.1.1
(投影最佳性与构造性多项式误差界)
对 f ∈ L 2 ( ν ) f\in L^2(\nu) f ∈ L 2 ( ν ) 及有限维子空间 V V V ,每个 v ∈ V v\in V v ∈ V 都满足
∥ f − v ∥ ν 2 = ∥ f − P V f ∥ ν 2 + ∥ P V f − v ∥ ν 2 . \|f-v\|_\nu^2=\|f-P_Vf\|_\nu^2+\|P_Vf-v\|_\nu^2. ∥ f − v ∥ ν 2 = ∥ f − P V f ∥ ν 2 + ∥ P V f − v ∥ ν 2 . 所以 P V f P_Vf P V f 是 L 2 ( ν ) L^2(\nu) L 2 ( ν ) 中唯一的最佳近似元素。若 [ 0 , 1 ] d [0,1]^d [ 0 , 1 ] d 上的 f f f 相对欧氏(Euclidean)距离有 Lipschitz 常数 L L L ,则
∥ B m f − f ∥ ∞ ≤ L 2 d m . \|B_mf-f\|_\infty\leq\frac L2\sqrt{\frac d m}. ∥ B m f − f ∥ ∞ ≤ 2 L m d . 构造最多使用 ( m + 1 ) d (m+1)^d ( m + 1 ) d 个取值。此界证明固定维数时的收敛,并没有证明计算成本与维数无关。
第二个定理把固定的函数空间换成由数据选出的线性子空间。
设 C = A A ⊤ C=AA^\top C = A A ⊤ 的特征值为 λ 1 ≥ ⋯ ≥ λ q ≥ 0 \lambda_1\geq\cdots\geq\lambda_q\geq0 λ 1 ≥ ⋯ ≥ λ q ≥ 0 。在所有秩为 r r r 的正交投影中,投影到最大 r r r 个特征值所对应的特征向量张成的空间,可使平均快照重构误差最小,其值为
min P ∑ i = 1 N w i ∥ u i − P u i ∥ 2 = ∑ j = r + 1 q λ j . \min_P\sum_{i=1}^Nw_i\|u_i-Pu_i\|^2
=\sum_{j=r+1}^q\lambda_j. P min i = 1 ∑ N w i ∥ u i − P u i ∥ 2 = j = r + 1 ∑ q λ j . 对 0 < r < q 0<r<q 0 < r < q ,若有严格间隙 λ r > λ r + 1 \lambda_r>\lambda_{r+1} λ r > λ r + 1 ,最优子空间唯一。若截断穿过重复特征值,可能有多个最佳子空间。结论只针对指定快照、权重、欧氏范数及线性子空间。
概念视角 代数
POD 是快照矩阵的最佳低秩逼近 C = A A ⊤ C=AA^\top C = A A ⊤ 的非零特征值恰好是 A A A 的非零奇异值的平方 σ j 2 \sigma_j^2 σ j 2 ,而 POD 模态就是 A A A 的前几个左奇异向量。因此定理也是一个矩阵命题:在所有秩不超过 r r r 的 q × N q\times N q × N 矩阵 B B B 中,∥ A − B ∥ F 2 \|A-B\|_F^2 ∥ A − B ∥ F 2 的最小值是 ∑ j > r λ j \sum\limits_{j>r}\lambda_j j > r ∑ λ j ,由 B = P A B=PA B = P A 取到。原因是:一旦 B B B 的列空间落在秩为 r r r 的投影 P P P 的值域中,逐列来看,离 A A A 最近的这类矩阵就是 P A PA P A 。
证明思路
残差 f − P V f f-P_Vf f − P V f 与每个基函数正交,所以与整个 V V V 正交。在 f − v = ( f − P V f ) + ( P V f − v ) f-v=(f-P_Vf)+(P_Vf-v) f − v = ( f − P V f ) + ( P V f − v ) 中两项相互垂直,展开平方范数即得投影恒等式。第二项只有在 L 2 ( ν ) L^2(\nu) L 2 ( ν ) 中 v = P V f v=P_Vf v = P V f 时为零,这就是唯一性。
至于多项式误差界,概率表示和 Lipschitz 假设给出
∣ B m f ( x ) − f ( x ) ∣ ≤ L E ∥ K / m − x ∥ ≤ L E ∥ K / m − x ∥ 2 = L ∑ j = 1 d x j ( 1 − x j ) m . |B_mf(x)-f(x)|\leq L E\|K/m-x\|
\leq L\sqrt{E\|K/m-x\|^2}
=L\sqrt{\sum_{j=1}^d\frac{x_j(1-x_j)}m}. ∣ B m f ( x ) − f ( x ) ∣ ≤ L E ∥ K / m − x ∥ ≤ L E ∥ K / m − x ∥ 2 = L j = 1 ∑ d m x j ( 1 − x j ) . 中间一步是 Cauchy–Schwarz,等号用到 E [ K j / m ] = x j E[K_j/m]=x_j E [ K j / m ] = x j 和 Var ( K j / m ) = x j ( 1 − x j ) / m \operatorname{Var}(K_j/m)=x_j(1-x_j)/m Var ( K j / m ) = x j ( 1 − x j ) / m 。每一项都不超过 1 / ( 4 m ) 1/(4m) 1/ ( 4 m ) ,所以对每个 x x x ,右端不超过 ( L / 2 ) d / m (L/2)\sqrt{d/m} ( L /2 ) d / m 。
在非正交基下,同样的正交论证导出 Gram 线性方程组。即使最佳函数是确定的,病态坐标仍可能使数值求解困难,这两件事必须区分。Bernstein 论证给出一个可靠的速率,但不一定是每个更光滑函数的最佳速率:多项式精确再现仿射函数,额外结构也可能大幅改善实际误差。
由于 I − P I-P I − P 对称且幂等,
∑ i = 1 N w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 = tr ( A ⊤ ( I − P ) A ) = tr ( C ) − tr ( P C ) . \sum_{i=1}^Nw_i\|u_i-Pu_i\|^2=\|(I-P)A\|_F^2=\operatorname{tr}\bigl(A^\top(I-P)A\bigr)=\operatorname{tr}(C)-\operatorname{tr}(PC). i = 1 ∑ N w i ∥ u i − P u i ∥ 2 = ∥ ( I − P ) A ∥ F 2 = tr ( A ⊤ ( I − P ) A ) = tr ( C ) − tr ( P C ) . 取标准正交特征基 e 1 , … , e q e_1,\ldots,e_q e 1 , … , e q ,C e j = λ j e j Ce_j=\lambda_je_j C e j = λ j e j ,并令 a j = ∥ P e j ∥ 2 = e j ⊤ P e j a_j=\|Pe_j\|^2=e_j^\top Pe_j a j = ∥ P e j ∥ 2 = e j ⊤ P e j 。于是 tr ( P C ) = ∑ j λ j a j \operatorname{tr}(PC)=\sum\limits_j\lambda_ja_j tr ( P C ) = j ∑ λ j a j ;正交投影不增加长度,所以每个 a j ∈ [ 0 , 1 ] a_j\in[0,1] a j ∈ [ 0 , 1 ] ;又 ∑ j a j = tr P = r \sum\limits_ja_j=\operatorname{tr}P=r j ∑ a j = tr P = r 。r = 0 r=0 r = 0 和 r = q r=q r = q 的情形是直接的,故设 0 < r < q 0<r<q 0 < r < q ,并令 s = ∑ j > r a j = ∑ j ≤ r ( 1 − a j ) ≥ 0 s=\sum\limits_{j>r}a_j=\sum\limits_{j\leq r}(1-a_j)\geq0 s = j > r ∑ a j = j ≤ r ∑ ( 1 − a j ) ≥ 0 。利用 j ≤ r j\leq r j ≤ r 时 λ j ≥ λ r \lambda_j\geq\lambda_r λ j ≥ λ r 、j > r j>r j > r 时 λ j ≤ λ r + 1 \lambda_j\leq\lambda_{r+1} λ j ≤ λ r + 1 ,
∑ j = 1 q λ j a j − ∑ j = 1 r λ j = ∑ j > r λ j a j − ∑ j ≤ r λ j ( 1 − a j ) ≤ ( λ r + 1 − λ r ) s ≤ 0. \sum_{j=1}^q\lambda_ja_j-\sum_{j=1}^r\lambda_j
=\sum_{j>r}\lambda_ja_j-\sum_{j\leq r}\lambda_j(1-a_j)
\leq(\lambda_{r+1}-\lambda_r)\,s\leq0. j = 1 ∑ q λ j a j − j = 1 ∑ r λ j = j > r ∑ λ j a j − j ≤ r ∑ λ j ( 1 − a j ) ≤ ( λ r + 1 − λ r ) s ≤ 0. 投影到 span { e 1 , … , e r } \operatorname{span}\{e_1,\ldots,e_r\} span { e 1 , … , e r } 时 s = 0 s=0 s = 0 ,等号成立,所以最小误差为 tr ( C ) − ∑ j ≤ r λ j = ∑ j > r λ j \operatorname{tr}(C)-\sum\limits_{j\leq r}\lambda_j=\sum\limits_{j>r}\lambda_j tr ( C ) − j ≤ r ∑ λ j = j > r ∑ λ j 。若 λ r > λ r + 1 \lambda_r>\lambda_{r+1} λ r > λ r + 1 ,等号迫使 s = 0 s=0 s = 0 ,即对每个 j ≤ r j\leq r j ≤ r 有 a j = 1 a_j=1 a j = 1 且 e j ∈ range P e_j\in\operatorname{range}P e j ∈ range P 。这 r r r 个向量张成 r r r 维的值域,所以最优子空间唯一。
证明透视
投影的约束条件在哪里起作用 证明从不直接在子空间上做优化。迹恒等式把误差变成数 a j a_j a j 的线性函数,P P P 的全部几何被压缩为两个约束:0 ≤ a j ≤ 1 0\leq a_j\leq1 0 ≤ a j ≤ 1 和 ∑ j a j = r \sum\limits_ja_j=r j ∑ a j = r 。两者都用到 P P P 是秩为 r r r 的正交投影;斜投影可以有 ∥ P e j ∥ > 1 \|Pe_j\|>1 ∥ P e j ∥ > 1 ,上界便会失效。
关键一步是交换量 s s s 。P P P 放在截断以下的权重,必然是截断以上位置所缺少的权重,而每一单位这样的权重使保留能量至多改变 λ r + 1 − λ r \lambda_{r+1}-\lambda_r λ r + 1 − λ r 。论证以两种方式收尾:主特征向量达到上界,给出最小值;因子 λ r + 1 − λ r \lambda_{r+1}-\lambda_r λ r + 1 − λ r 只有严格为负时才给出唯一性。若特征值相等,该因子为零,s s s 不受约束,同一特征空间内的不同子空间误差相同。
若物理内积为 u ⊤ M v u^\top Mv u ⊤ M v ,其中 M M M 正定,应先把快照乘以 M 1 / 2 M^{1/2} M 1/2 ,再做欧氏 POD,最后变换回原坐标,才得到在 M M M 内积下标准正交的模态。直接对未变换的快照套用欧氏公式,实际上是在悄悄求解另一个问题。
当空间维数大而快照较少时,可以求快照 Gram 矩阵 G = A ⊤ A G=A^\top A G = A ⊤ A 的非零特征值。若 G v = λ v Gv=\lambda v G v = λ v ,v v v 为单位向量且 λ > 0 \lambda>0 λ > 0 ,则 A v / λ Av/\sqrt\lambda A v / λ 是 C C C 的单位特征向量:其平方范数为 v ⊤ G v / λ = 1 v^\top Gv/\lambda=1 v ⊤ G v / λ = 1 ,再乘以 C C C 即得特征方程。这样无须存储较大的协方差矩阵。零特征值不能做这一除法,超出快照秩的模态也无法由数据确定。
连续多项式投影的内积需要对所选测度积分。改用求积或样本平均会得到另一个有限问题;节点不足时,连续空间中线性无关的基函数可能在节点上无法区分,使 Gram 矩阵奇异。即使节点很多,位置不当也可能无法区分重要的函数。因此求积误差、节点几何和原来的近似误差要分别分析。
例题详解
在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上采用均匀概率测度,用 a + b x a+bx a + b x 近似 f ( x ) = x 2 f(x)=x^2 f ( x ) = x 2 。对 1 1 1 和 x x x 的正交条件给出 a = 1 / 3 a=1/3 a = 1/3 、b = 0 b=0 b = 0 ,因为 E [ X 2 ] = 1 / 3 E[X^2]=1/3 E [ X 2 ] = 1/3 而奇数阶矩为零。最小均方误差为 E [ ( X 2 − 1 / 3 ) 2 ] = 1 / 5 − 1 / 9 = 4 / 45 E[(X^2-1/3)^2]=1/5-1/9=4/45 E [( X 2 − 1/3 ) 2 ] = 1/5 − 1/9 = 4/45 。若改为在两个端点插值,得到常数 1 1 1 ,误差却是 E [ ( X 2 − 1 ) 2 ] = 8 / 15 E[(X^2-1)^2]=8/15 E [( X 2 − 1 ) 2 ] = 8/15 。两者都是合法的构造,但优化目标不同;最佳平均近似不一定经过任何端点。
例题 8.1.4
(精确 Bernstein 计算及维数比较)
对 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上的 f ( x ) = x 2 f(x)=x^2 f ( x ) = x 2 ,二项分布的二阶矩恒等式给出 B m f ( x ) = x 2 + x ( 1 − x ) / m B_mf(x)=x^2+x(1-x)/m B m f ( x ) = x 2 + x ( 1 − x ) / m 。一致误差恰为 1 / ( 4 m ) 1/(4m) 1/ ( 4 m ) ,在 x = 1 / 2 x=1/2 x = 1/2 处达到,比一般 Lipschitz 界快,因为这个函数有额外的光滑性。六个变量、坐标次数为七时,张量空间有 8 6 = 262144 8^6=262144 8 6 = 262144 个系数;总次数不超过七的空间只有 ( 13 6 ) = 1716 \binom{13}{6}=1716 ( 6 13 ) = 1716 个。节省很多,却不能互换:张量单项式 x 1 7 x 2 7 x_1^7x_2^7 x 1 7 x 2 7 不属于总次数七的空间。
取 u 1 = ( 3 , 0 ) ⊤ u_1=(3,0)^\top u 1 = ( 3 , 0 ) ⊤ 、u 2 = ( 0 , 1 ) ⊤ u_2=(0,1)^\top u 2 = ( 0 , 1 ) ⊤ ,权重相等,则 C = diag ( 9 / 2 , 1 / 2 ) C=\operatorname{diag}(9/2,1/2) C = diag ( 9/2 , 1/2 ) 。最优一维子空间是水平轴,平均平方误差为 1 / 2 1/2 1/2 。若权重改为 w 1 = 1 / 20 w_1=1/20 w 1 = 1/20 、w 2 = 19 / 20 w_2=19/20 w 2 = 19/20 ,则 C = diag ( 9 / 20 , 19 / 20 ) C=\operatorname{diag}(9/20,19/20) C = diag ( 9/20 , 19/20 ) ,最优子空间变为竖直轴,最小误差为 9 / 20 9/20 9/20 。因此模态排序是关于指定数据权重的结论,而不是坐标方向本身的排序。
等权快照若先做中心化,得到 ( 3 / 2 , − 1 / 2 ) (3/2,-1/2) ( 3/2 , − 1/2 ) 及其相反向量,两者位于同一直线上,故中心化后的秩一重构误差为零。加回均值后得到经过两个原始快照的仿射直线,而不是无中心化 POD 所用的、经过原点的直线。
常见错误
“七次”必须说明是坐标次数还是总次数;只用次数表示的误差估计可能掩盖指数增长的系数个数。稀疏指标集、低秩张量模型和可加结构可能有帮助,但每一类都需要针对所考虑函数类的近似论证。
POD 最小化的是加权总和,低权重的状态可能有很大的残差。与所有保留模态正交的未来状态可能被完全遗漏;即使在快照集上误差为零,也不能给出未观测状态的一致误差界。
中心化把近似族从经过原点的子空间变成加回均值后的仿射族;换用另一种物理范数也会改变最优解。特征值接近时,单个模态在扰动下可能很不稳定;准确重构的子空间往往比某个近乎重复的特征向量的方向更有意义。
反例模式
平均意义下最优不等于最坏情形下最优 错误说法:L 2 ( ν ) L^2(\nu) L 2 ( ν ) 投影同时使最大误差最小。取 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上的均匀 ν \nu ν 、f ( x ) = x 2 f(x)=x^2 f ( x ) = x 2 以及仿射逼近。投影是常数 1 / 3 1/3 1/3 ,其误差在 x = ± 1 x=\pm1 x = ± 1 处达到 2 / 3 2/3 2/3 。常数 1 / 2 1/2 1/2 的误差 x 2 − 1 / 2 ∈ [ − 1 / 2 , 1 / 2 ] x^2-1/2\in[-1/2,1/2] x 2 − 1/2 ∈ [ − 1/2 , 1/2 ] ,最大误差为 1 / 2 < 2 / 3 1/2\lt2/3 1/2 < 2/3 ;但它的均方误差是 1 / 5 − 1 / 3 + 1 / 4 = 7 / 60 > 4 / 45 1/5-1/3+1/4=7/60\gt4/45 1/5 − 1/3 + 1/4 = 7/60 > 4/45 。修正:投影只在定义它的范数下最优;一致误差保证需要一致的论证,例如 Bernstein 误差界。
总结
投影在指定范数和空间内选出最佳函数;Bernstein 构造给出具体的多项式近似,也揭示了张量取值的成本。POD 则根据加权快照选择适应数据的线性子空间,并用尾部特征值之和精确表示平均重构误差。实际应用中仍须判断,所选的多项式结构或快照族是否代表真正关心却未观测到的函数。
练习
快速检查
(设 X X X 在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 上服从均匀分布。求 x 3 x^3 x 3 的最佳仿射 L 2 L^2 L 2 近似及其平方误差。)
解答 · 答案 设近似为 a + b x a+bx a + b x 。与 1 1 1 正交给出 a = 0 a=0 a = 0 ;与 x x x 正交给出 b = E [ X 4 ] / E [ X 2 ] = ( 1 / 5 ) / ( 1 / 3 ) = 3 / 5 b=E[X^4]/E[X^2]=(1/5)/(1/3)=3/5 b = E [ X 4 ] / E [ X 2 ] = ( 1/5 ) / ( 1/3 ) = 3/5 。平方误差为 E [ X 6 ] − ( E [ X 4 ] ) 2 / E [ X 2 ] = 1 / 7 − 3 / 25 = 4 / 175 E[X^6]-(E[X^4])^2/E[X^2]=1/7-3/25=4/175 E [ X 6 ] − ( E [ X 4 ] ) 2 / E [ X 2 ] = 1/7 − 3/25 = 4/175 。由于 1 1 1 与 x x x 相互正交且范数为正,系数唯一。
快速检查
(设 [ 0 , 1 ] d [0,1]^d [ 0 , 1 ] d 上 f ( x ) = x 1 + ⋯ + x d f(x)=x_1+\cdots+x_d f ( x ) = x 1 + ⋯ + x d 。精确求出其张量 Bernstein 多项式,并比较真实误差与一般 Lipschitz 界。)
解答 · 答案 由线性性和 E [ K j / m ] = x j E[K_j/m]=x_j E [ K j / m ] = x j ,Bernstein 多项式恰好等于 f f f ,误差为零。欧氏 Lipschitz 常数可取 d \sqrt d d ,所以一般界为 d / ( 2 m ) d/(2\sqrt m) d / ( 2 m ) 。非零上界与零真实误差并不矛盾:证明所用的不等式对大得多的函数类成立,并没有利用仿射函数被精确再现这一点。
快速检查
(快照 u 1 = ( 2 , 0 , 0 ) u_1=(2,0,0) u 1 = ( 2 , 0 , 0 ) 、u 2 = ( 0 , 2 , 0 ) u_2=(0,2,0) u 2 = ( 0 , 2 , 0 ) 、u 3 = ( 0 , 0 , 1 ) u_3=(0,0,1) u 3 = ( 0 , 0 , 1 ) 权重相等。求秩一和秩二的最小平均平方重构误差。秩一最优子空间是否唯一?)
解答 · 答案 协方差为 diag ( 4 / 3 , 4 / 3 , 1 / 3 ) \operatorname{diag}(4/3,4/3,1/3) diag ( 4/3 , 4/3 , 1/3 ) 。秩一最小误差为 4 / 3 + 1 / 3 = 5 / 3 4/3+1/3=5/3 4/3 + 1/3 = 5/3 ,秩二最小误差为 1 / 3 1/3 1/3 。由于最大特征值重复,前两个坐标方向张成的平面中的每条直线都是秩一最优解。秩二截断处有 4 / 3 > 1 / 3 4/3>1/3 4/3 > 1/3 ,所以秩二子空间唯一。
快速检查
(快照协方差矩阵的特征值为 9 , 4 , 1 , 0 9,4,1,0 9 , 4 , 1 , 0 。保留至少 90 % 90\% 90% 总能量的最小秩是多少?为什么这不是对每个状态的 90 % 90\% 90% 保证?)
解答 · 答案 总能量为 14 14 14 。秩一保留 9 / 14 9/14 9/14 ,秩二保留 13 / 14 > 0.9 13/14>0.9 13/14 > 0.9 ,所以最小秩为二。舍弃的能量 1 1 1 只是加权的整体结果。完全沿第三个特征向量方向的状态会失去全部能量,说明平均能量准则不能推出逐个状态的比例保证。