兩個感應器可以記錄同一組底層訊號的不同混合。若合適的混合矩陣已知且可逆,還原來源很直接;盲源分離中混合方式未知,觀測本身不會自動確定唯一答案。統計假設、正規化和可用數據都重要。
線性混合是有假設的模型
某時刻令 s = ( s 1 , s 2 ) T s=(s_1,s_2)^T s = ( s 1 , s 2 ) T 為兩個來源振幅,x = ( x 1 , x 2 ) T x=(x_1,x_2)^T x = ( x 1 , x 2 ) T 為兩個感應器讀數。即時、線性、無雜訊模型寫成 x = A s x=As x = A s ,固定 2 × 2 2\times2 2 × 2 矩陣 A A A 包含混合係數。「即時」表示各來源同一時間樣本影響目前觀測;除非擴展狀態或改變模型,否則不包含延遲回聲和卷積。加入雜訊 ε \varepsilon ε 得 x = A s + ε x=As+\varepsilon x = A s + ε ,單純套用逆矩陣便一般無法精確還原。
設 s ∈ R n s\in\mathbb R^n s ∈ R n 為來源向量,x ∈ R n x\in\mathbb R^n x ∈ R n 為某一時間樣本的感應器向量。即時、無雜訊的線性混合模型為 x = A s x=As x = A s ,其中固定方陣 A ∈ R n × n A\in\mathbb R^{n\times n} A ∈ R n × n 的元 a i j a_{ij} a ij 是來源 j j j 在感應器 i i i 中的權重。本節的數值例子取 n = 2 n=2 n = 2 。
若 A A A 已知且 det A ≠ 0 \det A\ne0 det A = 0 ,每個時間點的來源向量可由 s = A − 1 x s=A^{-1}x s = A − 1 x 唯一還原。若 A A A 奇異,存在非零 v v v 使 A v = 0 Av=0 A v = 0 ;s s s 與 s + v s+v s + v 產生相同觀測,所以沒有額外限制時,單憑觀測不能區分這兩個可能來源。秩、感應器數量及來源假設均屬模型的一部分,不能期待算法忽略它們。
設 A A A 為實 n × n n\times n n × n 矩陣,x = A s 0 x=As_0 x = A s 0 。
若 det A ≠ 0 \det A\ne0 det A = 0 ,則 s 0 = A − 1 x s_0=A^{-1}x s 0 = A − 1 x 是唯一產生 x x x 的來源向量。
若 det A = 0 \det A=0 det A = 0 ,產生 x x x 的來源向量恰為所有 s 0 + v s_0+v s 0 + v (A v = 0 Av=0 A v = 0 ),且有無窮多個。
若 det A ≠ 0 \det A\ne0 det A = 0 且 A s = x As=x A s = x ,兩邊乘 A − 1 A^{-1} A − 1 得 s = A − 1 x s=A^{-1}x s = A − 1 x ,故解唯一。若 det A = 0 \det A=0 det A = 0 ,則 A A A 有非零核向量 v 0 v_0 v 0 。對每個滿足 A v = 0 Av=0 A v = 0 的 v v v ,有 A ( s 0 + v ) = x + A v = x A(s_0+v)=x+Av=x A ( s 0 + v ) = x + A v = x 。反過來,若 A s = x As=x A s = x ,則 A ( s − s 0 ) = 0 A(s-s_0)=0 A ( s − s 0 ) = 0 ,所以 s = s 0 + v s=s_0+v s = s 0 + v ,其中 A v = 0 Av=0 A v = 0 。核包含所有實數倍 t v 0 tv_0 t v 0 ,因此是無窮集。
例題:已知可逆混合
令
A = ( 1 1 1 − 1 ) , x = ( 1 3 ) . A=\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad
x=\begin{pmatrix}1\\3\end{pmatrix}. A = ( 1 1 1 − 1 ) , x = ( 1 3 ) . 方程為 x 1 = s 1 + s 2 x_1=s_1+s_2 x 1 = s 1 + s 2 、x 2 = s 1 − s 2 x_2=s_1-s_2 x 2 = s 1 − s 2 。相加相減得 s 1 = ( x 1 + x 2 ) / 2 = 2 s_1=(x_1+x_2)/2=2 s 1 = ( x 1 + x 2 ) /2 = 2 、s 2 = ( x 1 − x 2 ) / 2 = − 1 s_2=(x_1-x_2)/2=-1 s 2 = ( x 1 − x 2 ) /2 = − 1 。行列式是 − 2 -2 − 2 ,故逆矩陣存在;代回 ( 2 , − 1 ) (2,-1) ( 2 , − 1 ) 得 ( 1 , 3 ) (1,3) ( 1 , 3 ) 。這是已知矩陣分離,並非盲問題的解答。
例題:奇異混合有多個解
令 A = ( 1 2 2 4 ) A=\begin{pmatrix}1&2\\2&4\end{pmatrix} A = ( 1 2 2 4 ) 、x = ( 3 , 6 ) T x=(3,6)^T x = ( 3 , 6 ) T 。s = ( 3 , 0 ) T s=(3,0)^T s = ( 3 , 0 ) T 與 s = ( 1 , 1 ) T s=(1,1)^T s = ( 1 , 1 ) T 都產生相同 x x x ;事實上所有滿足 s 1 + 2 s 2 = 3 s_1+2s_2=3 s 1 + 2 s 2 = 3 的配對都是解。第二個感應器沒有增加獨立線性方程,因其行是第一行的兩倍。某些應用可加入額外限制而選出一個可能值,但限制須明示及論證;單靠矩陣與觀測不能選出它。
為何盲分解有歧義
即使未知方陣可逆,若無限制,分解 x = A s x=As x = A s 仍不唯一。對任意可逆 B B B ,可寫成 x = ( A B − 1 ) ( B s ) x=(AB^{-1})(Bs) x = ( A B − 1 ) ( B s ) :不同混合矩陣與候選來源給出同一觀測。統計限制可排除許多可能,但標準獨立成分模型仍有尺度和次序歧義。將一個來源乘非零常數、並把對應混合矩陣列除以該常數,不改變 x x x 或獨立性;同時置換來源與混合列亦不改變觀測或獨立性。
設 x = A s x=As x = A s ,A A A 為可逆 n × n n\times n n × n 矩陣,B B B 為任意可逆 n × n n\times n n × n 矩陣。則 x = ( A B − 1 ) ( B s ) x=(AB^{-1})(Bs) x = ( A B − 1 ) ( B s ) 。若另外 s s s 的各座標獨立,且 B B B 是對角元非零的對角矩陣或置換矩陣,則 B s Bs B s 的各座標亦獨立。
矩陣乘法滿足結合律,故 ( A B − 1 ) ( B s ) = A ( B − 1 B ) s = A s = x (AB^{-1})(Bs)=A(B^{-1}B)s=As=x ( A B − 1 ) ( B s ) = A ( B − 1 B ) s = A s = x 。若 B = diag ( b 1 , … , b n ) B=\operatorname{diag}(b_1,\ldots,b_n) B = diag ( b 1 , … , b n ) ,B s Bs B s 的第 i i i 個座標為 b i s i b_is_i b i s i ,只是 s i s_i s i 的函數;各自只用不同變量的獨立隨機變量函數仍然獨立。若 B B B 是置換矩陣,B s Bs B s 與 s s s 有相同座標,只是排列不同,而一族變量的獨立性不取決於列出的次序。
因此比較分離結果前應訂明尺度、符號及排列慣例,除非額外資訊固定它們。還原成分不會自動標為「講者 1」,也不保證保留原物理單位。與已知參考訊號的相關性、校準或應用資訊可協助標記與定尺度;它們是額外證據,並非盲分解自動產生的結論。
協方差與白化
現在假設來源與觀測是有有限二階矩、均值為零的隨機向量。在無雜訊模型下,協方差滿足
Σ x = E [ x x T ] = A Σ s A T . \Sigma_x=\mathbb E[xx^T]=A\Sigma_s A^T. Σ x = E [ x x T ] = A Σ s A T .
若 Σ x \Sigma_x Σ x 正定,白化矩陣 W W W 滿足 W Σ x W T = I W\Sigma_xW^T=I W Σ x W T = I ,白化觀測 z = W x z=Wx z = W x 的協方差為單位矩陣。例如特徵分解 Σ x = U Λ U T \Sigma_x=U\Lambda U^T Σ x = U Λ U T 的特徵值全正時,可取 W = Λ − 1 / 2 U T W=\Lambda^{-1/2}U^T W = Λ − 1/2 U T 。均值本來非零時,以協方差計算前需要中心化。若協方差有零特徵值,完整逆平方根無定義;丟棄零或小方向會改變問題,須訂明秩與雜訊政策。
設 x x x 為均值為零的隨機向量,其協方差 Σ x \Sigma_x Σ x 正定。若 W Σ x W T = I W\Sigma_xW^T=I W Σ x W T = I ,稱 W W W 為 x x x 的白化矩陣;此時 z = W x z=Wx z = W x 的協方差為 I I I 。
設 Σ x = U Λ U T \Sigma_x=U\Lambda U^T Σ x = U Λ U T ,其中 U U U 正交,Λ \Lambda Λ 為對角元全正的對角矩陣。則:
W 0 = Λ − 1 / 2 U T W_0=\Lambda^{-1/2}U^T W 0 = Λ − 1/2 U T 是白化矩陣。
方陣 W W W 是白化矩陣,當且僅當 W = Q W 0 W=QW_0 W = Q W 0 ,其中 Q Q Q 為某個正交矩陣。
第 1 項:W 0 Σ x W 0 T = Λ − 1 / 2 U T ( U Λ U T ) U Λ − 1 / 2 = Λ − 1 / 2 Λ Λ − 1 / 2 = I W_0\Sigma_xW_0^T=\Lambda^{-1/2}U^T(U\Lambda U^T)U\Lambda^{-1/2}=\Lambda^{-1/2}\Lambda\Lambda^{-1/2}=I W 0 Σ x W 0 T = Λ − 1/2 U T ( U Λ U T ) U Λ − 1/2 = Λ − 1/2 Λ Λ − 1/2 = I 。第 2 項:若 W = Q W 0 W=QW_0 W = Q W 0 且 Q Q Q 正交,則 W Σ x W T = Q I Q T = I W\Sigma_xW^T=QIQ^T=I W Σ x W T = Q I Q T = I 。反過來,設 W Σ x W T = I W\Sigma_xW^T=I W Σ x W T = I ,令 Q = W W 0 − 1 Q=WW_0^{-1} Q = W W 0 − 1 ;W 0 W_0 W 0 可逆,因為 U U U 與 Λ − 1 / 2 \Lambda^{-1/2} Λ − 1/2 都可逆。由 W 0 T W 0 = U Λ − 1 U T = Σ x − 1 W_0^TW_0=U\Lambda^{-1}U^T=\Sigma_x^{-1} W 0 T W 0 = U Λ − 1 U T = Σ x − 1 ,得 Q Q T = W ( W 0 T W 0 ) − 1 W T = W Σ x W T = I QQ^T=W(W_0^TW_0)^{-1}W^T=W\Sigma_xW^T=I Q Q T = W ( W 0 T W 0 ) − 1 W T = W Σ x W T = I 。滿足 Q Q T = I QQ^T=I Q Q T = I 的方陣是正交矩陣,且 W = Q W 0 W=QW_0 W = Q W 0 。
證明透視
白化定理的逆命題如何閉合 第 1 項只是代入;真正的工作在第 2 項的逆命題。思路是用比值 Q = W W 0 − 1 Q=WW_0^{-1} Q = W W 0 − 1 把任意白化矩陣 W W W 與 W 0 W_0 W 0 比較,再證明 Q Q Q 是正交矩陣。正定性用了兩次:它使 Λ − 1 / 2 \Lambda^{-1/2} Λ − 1/2 存在,所以 W 0 W_0 W 0 可逆、比值有定義;它也給出 W 0 T W 0 = Σ x − 1 W_0^TW_0=\Sigma_x^{-1} W 0 T W 0 = Σ x − 1 。這條恆等式把假設 W Σ x W T = I W\Sigma_xW^T=I W Σ x W T = I 變成 Q Q T = I QQ^T=I Q Q T = I 。證明之所以閉合,是因為滿足 Q Q T = I QQ^T=I Q Q T = I 的方陣是正交矩陣。方陣這個條件不可少:長方形的 W W W (例如 W 0 W_0 W 0 的其中一行)也可滿足 W Σ x W T = I W\Sigma_xW^T=I W Σ x W T = I ,卻不是任何正交 Q Q Q 與 W 0 W_0 W 0 的乘積。
例題:白化兩感應器的協方差
使用已知可逆混合例題的矩陣,假設零均值來源不相關,方差為 1、4。則 Σ s = diag ( 1 , 4 ) \Sigma_s=\operatorname{diag}(1,4) Σ s = diag ( 1 , 4 ) ,且
Σ x = ( 5 − 3 − 3 5 ) . \Sigma_x=\begin{pmatrix}5&-3\\-3&5\end{pmatrix}. Σ x = ( 5 − 3 − 3 5 ) . 單位特徵向量 ( 1 , 1 ) T / 2 (1,1)^T/\sqrt2 ( 1 , 1 ) T / 2 、( 1 , − 1 ) T / 2 (1,-1)^T/\sqrt2 ( 1 , − 1 ) T / 2 的特徵值為 2、8。一個白化矩陣是
W = ( 1 / 2 1 / 2 1 / 4 − 1 / 4 ) . W=\begin{pmatrix}1/2&1/2\\1/4&-1/4\end{pmatrix}. W = ( 1/2 1/4 1/2 − 1/4 ) . 確有 W A = diag ( 1 , 1 / 2 ) WA=\operatorname{diag}(1,1/2) W A = diag ( 1 , 1/2 ) ,故 z = ( s 1 , s 2 / 2 ) T z=(s_1,s_2/2)^T z = ( s 1 , s 2 /2 ) T ,協方差為 I I I 。此特選例子中白化方向碰巧在重縮放後對齊來源;計算並不證明白化本身可分離任意混合。
由白化定理,對每個正交 Q Q Q ,Q W QW Q W 也可白化 x x x ,所以單靠協方差仍有旋轉歧義。在額外的方陣可逆、來源協方差為單位矩陣模型下,白化後混合矩陣 W A WA W A 是正交矩陣:( W A ) ( W A ) T = I (WA)(WA)^T=I ( W A ) ( W A ) T = I 。這不代表正交矩陣自動已知或等於單位矩陣。白化標準化二階結構,通常不能單憑它識別來源軸。
概念視角 幾何
白化是把橢球壓成球面 W W W 把 x x x 白化,當且僅當 W T W = Σ x − 1 W^TW=\Sigma_x^{-1} W T W = Σ x − 1 ,亦即對每個 x x x 都有 ∥ W x ∥ 2 = x T Σ x − 1 x \|Wx\|^2=x^T\Sigma_x^{-1}x ∥ W x ∥ 2 = x T Σ x − 1 x 。所以 W W W 把橢圓 { x : x T Σ x − 1 x = 1 } \{x:x^T\Sigma_x^{-1}x=1\} { x : x T Σ x − 1 x = 1 } 映到單位圓(更高維則是球面),而 Q W QW Q W 的自由度就是對該球面作旋轉或反射的自由度。在例題中 Σ x \Sigma_x Σ x 的特徵值為 2 2 2 和 8 8 8 ,所以橢圓沿 ( 1 , 1 ) (1,1) ( 1 , 1 ) 的半軸為 2 \sqrt2 2 ,沿 ( 1 , − 1 ) (1,-1) ( 1 , − 1 ) 的半軸為 8 \sqrt8 8 。
白化後 z = W x z=Wx z = W x 的協方差為單位矩陣,容易誤以為 z z z 就是來源,或至多差一個尺度。白化兩感應器的例題之所以如此,是因為例子特意選成協方差特徵向量與來源軸對齊。一般而言 z = ( W A ) s z=(WA)s z = ( W A ) s ;當 Σ s = I \Sigma_s=I Σ s = I 時,W A WA W A 可以是任意正交矩陣,把來源彼此混合。白化只固定二階結構。
不相關不等於獨立
相關矩存在時,獨立蘊含協方差為零;反過來一般不成立。旋轉白化後的獨立非高斯(non-Gaussian)成分可展示區別。
反例模式
單位協方差不蘊含獨立 有人會由單位協方差推斷獨立。令 u , v u,v u , v 互相獨立,各以相同概率取 − 1 -1 − 1 或 1 1 1 ;設 z 1 = ( u + v ) / 2 z_1=(u+v)/\sqrt2 z 1 = ( u + v ) / 2 、z 2 = ( u − v ) / 2 z_2=(u-v)/\sqrt2 z 2 = ( u − v ) / 2 。原向量均值為零、協方差為單位矩陣,且變換正交,所以 ( z 1 , z 2 ) (z_1,z_2) ( z 1 , z 2 ) 協方差亦為單位矩陣。但 P ( z 1 = 0 ) = 1 / 2 P(z_1=0)=1/2 P ( z 1 = 0 ) = 1/2 、P ( z 2 = 0 ) = 1 / 2 P(z_2=0)=1/2 P ( z 2 = 0 ) = 1/2 ,而 P ( z 1 = 0 , z 2 = 0 ) = 0 P(z_1=0,z_2=0)=0 P ( z 1 = 0 , z 2 = 0 ) = 0 ;獨立性則要求聯合概率為 1 / 4 1/4 1/4 。因此旋轉後成分不相關卻不獨立;只看協方差不能區分白化數據的所有旋轉。獨立性要求聯合分布可分解,這是協方差以外的陳述。
獨立成分分析使用協方差以外的假設,選擇統計獨立、或在明確目標下近似獨立的成分。非高斯性常提供方向資訊;球對稱的聯合高斯向量在正交旋轉下分布不變,因此在該例中連完整高斯分布也不能唯一識別方向。此觀察不是所有 ICA 可識別性定理的證明;特定保證需要精確的獨立性、非高斯性、秩及取樣假設。
從理想計算到數據
真實記錄的均值與協方差由有限樣本估計,取樣變異可令協方差估計不準確;求逆時小特徵值可放大雜訊。即時線性模型也可能不適合有混響的音訊,因為來源會在多個延遲影響感應器。感應器雜訊、來源多於獨立感應器、混合隨時間改變、來源互相依賴,都需要不同模型或額外假設。無雜訊小例子的整潔矩陣逆,不建立這些情況下的穩健還原。
因此實際流程次序應明確:定義觀測變量與取樣單位;以所述估計值中心化;選秩和白化慣例;指定分離準則;按適當參考或任務評估輸出。若預測流程的前處理變換從數據學得,應以預期訓練數據擬合,再把保存的變換一致套到驗證和測試數據。不要把看似合理的波形或零樣本協方差當成獨立性的證明。
有用檢查是用估計來源與混合矩陣重建觀測。重建誤差小,說明這些因子按所選度量重現觀測;它本身不證明因子是唯一真實物理來源。尺度和排列歧義已展示多個等價分解可精確重建。應說明哪些額外證據支持對成分的解讀,包括標籤和單位。
單位方差慣例仍不能固定所有東西
假設獨立來源有非零有限方差。把每個來源重縮放至方差 1,並把其混合列乘原標準差,仍保持相同混合。此慣例消除了尺度歧義中的大小,但每個標準化成分的符號仍可反轉,次序仍可置換。統計慣例只是從一類等價模型中選方便的代表,並不自動找回原聲壓單位。
具體例子中,已知可逆混合例題的第一列為 ( 1 , 1 ) T (1,1)^T ( 1 , 1 ) T 。把 s 1 s_1 s 1 換成 s 1 ′ = 2 s 1 s'_1=2s_1 s 1 ′ = 2 s 1 ,該列換成 ( 1 / 2 , 1 / 2 ) T (1/2,1/2)^T ( 1/2 , 1/2 ) T ,對兩個觀測通道的貢獻不變。同一觀測 ( 1 , 3 ) T (1,3)^T ( 1 , 3 ) T 的另一組來源座標是 ( 4 , − 1 ) T (4,-1)^T ( 4 , − 1 ) T ;兩種重建都精確。若有可信的外部來源振幅校準,可區分物理單位;沒有它時,兩種分解在觀測上等價。
重建檢查通過,解讀仍可錯
在上述一般變換中取 B = ( 1 1 0 1 ) B=\begin{pmatrix}1&1\\0&1\end{pmatrix} B = ( 1 0 1 1 ) 。它可逆,且 B s = ( s 1 + s 2 , s 2 ) T Bs=(s_1+s_2,s_2)^T B s = ( s 1 + s 2 , s 2 ) T 。定義 A ′ = A B − 1 A'=AB^{-1} A ′ = A B − 1 ,便恆有 A ′ ( B s ) = A s A'(Bs)=As A ′ ( B s ) = A s ,每個感應器樣本均被精確重建;但第一個新座標混合了兩個原來源。若原來源獨立且 Var ( s 2 ) > 0 \operatorname{Var}(s_2)>0 Var ( s 2 ) > 0 有限,則 Cov ( s 1 + s 2 , s 2 ) = Var ( s 2 ) > 0 \operatorname{Cov}(s_1+s_2,s_2)=\operatorname{Var}(s_2)>0 Cov ( s 1 + s 2 , s 2 ) = Var ( s 2 ) > 0 。因此兩個新座標相依,因具有有限二階矩的獨立變量協方差為零;在這些假設下,獨立性可排除該變換。重建本身做不到。
重建誤差為零,只說明 A ^ s ^ \hat A\hat s A ^ s ^ 重現了 x x x 。由等價分解命題,對每個可逆 B B B ,( A B − 1 , B s ) (AB^{-1},Bs) ( A B − 1 , B s ) 都精確重建 x x x ,包括把真實來源混合起來的 B B B 。所以精確重建不能分辨真實來源與其混合版本;獨立性假設則可以,如上面的例子所示。
相反,獨立座標的置換或各自非零重縮放仍保持獨立。因此即使加入獨立性,混合分解仍可能有歧義。報告分離結果時應說明允許的等價關係及假設,不能聲稱數學上的精確求逆必然得到唯一標記的物理對象。
有限樣本版本還須區分:樣本協方差等於單位矩陣是關於有限數據與所選正規化的陳述,不能證明總體協方差恰好為單位矩陣或總體成分獨立。在同一數據上優化獨立性準則也可過擬合。評估設計須符合後續主張:重建誤差、獨立性診斷與下游分類表現回答不同問題;任何一項本身都不能提供關於物理來源身分的全部結論。
練習
快速檢查
(設 A = ( 1 − 1 − 2 2 ) A=\begin{pmatrix}1&-1\\-2&2\end{pmatrix} A = ( 1 − 2 − 1 2 ) 、x = ( 1 , − 2 ) T x=(1,-2)^T x = ( 1 , − 2 ) T 。描述所有滿足 A s = x As=x A s = x 的來源向量 s s s 。)
解答 · 答案 第一行給出 s 1 − s 2 = 1 s_1-s_2=1 s 1 − s 2 = 1 。第二行是第一行的 − 2 -2 − 2 倍,給出 − 2 s 1 + 2 s 2 = − 2 -2s_1+2s_2=-2 − 2 s 1 + 2 s 2 = − 2 ,即同一條件。所以 det A = 0 \det A=0 det A = 0 ,解為 s = ( 1 + t , t ) T s=(1+t,\,t)^T s = ( 1 + t , t ) T (t t t 為任意實數),即 s 0 = ( 1 , 0 ) T s_0=(1,0)^T s 0 = ( 1 , 0 ) T 加上核向量 ( 1 , 1 ) T (1,1)^T ( 1 , 1 ) T 的任意倍數。
快速檢查
(某均值為零的向量有 Σ x = diag ( 4 , 9 ) \Sigma_x=\operatorname{diag}(4,9) Σ x = diag ( 4 , 9 ) 。給出一個對角白化矩陣,以及另一個非對角的白化矩陣。)
解答 · 答案 取 W = diag ( 1 / 2 , 1 / 3 ) W=\operatorname{diag}(1/2,1/3) W = diag ( 1/2 , 1/3 ) :W Σ x W T = diag ( 4 / 4 , 9 / 9 ) = I W\Sigma_xW^T=\operatorname{diag}(4/4,\,9/9)=I W Σ x W T = diag ( 4/4 , 9/9 ) = I 。取旋轉 Q = 1 2 ( 1 − 1 1 1 ) Q=\frac1{\sqrt2}\begin{pmatrix}1&-1\\1&1\end{pmatrix} Q = 2 1 ( 1 1 − 1 1 ) ,則 Q W = 1 2 ( 1 / 2 − 1 / 3 1 / 2 1 / 3 ) QW=\frac1{\sqrt2}\begin{pmatrix}1/2&-1/3\\1/2&1/3\end{pmatrix} Q W = 2 1 ( 1/2 1/2 − 1/3 1/3 ) 不是對角矩陣,且 ( Q W ) Σ x ( Q W ) T = Q I Q T = I (QW)\Sigma_x(QW)^T=QIQ^T=I ( Q W ) Σ x ( Q W ) T = Q I Q T = I 。
快速檢查
(設 X X X 在 { − 1 , 0 , 1 } \{-1,0,1\} { − 1 , 0 , 1 } 上均勻分布,Y = X 2 Y=X^2 Y = X 2 。證明 X X X 與 Y Y Y 不相關但不獨立。)
計算 E [ X ] \mathbb E[X] E [ X ] 、E [ X Y ] \mathbb E[XY] E [ X Y ] ,並比較 P ( X = 0 , Y = 1 ) P(X=0,Y=1) P ( X = 0 , Y = 1 ) 與 P ( X = 0 ) P ( Y = 1 ) P(X=0)P(Y=1) P ( X = 0 ) P ( Y = 1 ) 。
解答 · 答案 E [ X ] = 0 \mathbb E[X]=0 E [ X ] = 0 且 X Y = X 3 = X XY=X^3=X X Y = X 3 = X ,故 Cov ( X , Y ) = E [ X 3 ] − E [ X ] E [ Y ] = 0 − 0 = 0 \operatorname{Cov}(X,Y)=\mathbb E[X^3]-\mathbb E[X]\mathbb E[Y]=0-0=0 Cov ( X , Y ) = E [ X 3 ] − E [ X ] E [ Y ] = 0 − 0 = 0 。但 Y = 1 Y=1 Y = 1 迫使 X ≠ 0 X\ne0 X = 0 ,所以 P ( X = 0 , Y = 1 ) = 0 P(X=0,Y=1)=0 P ( X = 0 , Y = 1 ) = 0 ,而 P ( X = 0 ) P ( Y = 1 ) = 1 3 ⋅ 2 3 = 2 9 ≠ 0 P(X=0)P(Y=1)=\frac13\cdot\frac23=\frac29\ne0 P ( X = 0 ) P ( Y = 1 ) = 3 1 ⋅ 3 2 = 9 2 = 0 。兩個變量相依。
快速檢查
(設 A = ( 1 1 1 − 1 ) A=\begin{pmatrix}1&1\\1&-1\end{pmatrix} A = ( 1 1 1 − 1 ) 、s = ( 2 , − 1 ) T s=(2,-1)^T s = ( 2 , − 1 ) T 。把第二個來源的符號反轉,給出同一 x x x 的第二種分解。)
在等價分解命題中取 B = diag ( 1 , − 1 ) B=\operatorname{diag}(1,-1) B = diag ( 1 , − 1 ) 。
解答 · 答案 此時 B − 1 = B B^{-1}=B B − 1 = B ,故 A B − 1 = ( 1 − 1 1 1 ) AB^{-1}=\begin{pmatrix}1&-1\\1&1\end{pmatrix} A B − 1 = ( 1 1 − 1 1 ) ,B s = ( 2 , 1 ) T Bs=(2,1)^T B s = ( 2 , 1 ) T 。於是 ( A B − 1 ) ( B s ) = ( 2 − 1 , 2 + 1 ) T = ( 1 , 3 ) T = A s (AB^{-1})(Bs)=(2-1,\;2+1)^T=(1,3)^T=As ( A B − 1 ) ( B s ) = ( 2 − 1 , 2 + 1 ) T = ( 1 , 3 ) T = A s 。兩種分解都給出 x = ( 1 , 3 ) T x=(1,3)^T x = ( 1 , 3 ) T ,所以還原來源的符號不能由觀測決定。