普通最小二乘法以正交投影擬合模型。純量對比檢定問的是某個係數的線性組合是否為零;然而,許多問題同時涉及多個限制:三個組別的平均數是否相等?在基準模型以外加入兩個預測變量,能否提供額外資訊?巢狀迴歸 檢定可回答這類問題,而單因素方差分析(ANOVA)是其中最熟悉的特例。
本節從投影幾何推導 統計量在虛無假設下的精確分布,再將結果用於單因素 ANOVA,並說明結論依賴哪些假設。
設定與假設
固定兩個設計矩陣 和 ,滿足
兩個矩陣均有滿列秩。當 時,約定 。觀察值為
其中 是未知的固定向量。上述設定中的幾個詞各有重要作用:
- 固定:矩陣 ,因此亦包括兩個模型,均在看到反應變量之前選定;它們不依賴 。
- 巢狀:簡化模型空間 包含於完整模型空間 。
- 滿列秩:這使 可逆。若設計矩陣的列不獨立,可刪去多餘的列,或將下文的 全部改為 。只要 且 ,以下理論仍然成立。若把列數誤當成秩,自由度可能變成零,導致除以零。
定義 1.8.1
(投影與殘差平方和)
令 為投影到 的正交投影;當 時取 。殘差平方和為
第二個等式用到 。
投影幾何
引理 1.8.2
(巢狀投影)
令 ,則:
- 和 都是對稱冪等矩陣,因此都是正交投影。
- ,因此兩個投影的像空間互相正交。
- 且 。
- 。
證明
(乘積、跡與 RSS 的下降)
的每一列都在 內,而 保持該空間內每個向量不變,因此 。取轉置並利用對稱性,得到 。
和 顯然對稱。它們的冪等性可由下式及同類計算得到:
同樣地 。至於正交性,
正交投影的秩等於其跡。利用跡的循環性,
因此 ,而 。最後,
由於 是對稱冪等矩陣,此式等於 。
第四點有直接的實際含義:擴大模型絕不會增加訓練數據上的 RSS。因此 RSS 下降本身是必然的;只有將下降的幅度與雜訊比較,才可能構成證據。
虛無假設下的精確分布
定理 1.8.3
(巢狀 檢定)
假設 (虛無假設 ),則:
- ;
- ;
- 這兩個量互相獨立,且 幾乎必然成立。
因此
證明
(與巢狀模型相適配的標準正交基底)
步驟一:選取適合的標準正交基底。 取 的標準正交基底 ,加入 ,擴充為 的標準正交基底;再加入 ,擴充為 的標準正交基底。相對於這個基底,
令 ,則 是正交矩陣。
步驟二:去掉平均向量。 在 下,,故 ,而 。所以
步驟三:旋轉不變性。 因 ,向量 服從高斯(Gauss)分布,其協方差為 。因此 是獨立的 變量。由 ,
步驟四:確定分布。 第一個和有 個獨立標準正態變量的平方,故服從 ;第二個有 個,故服從 。兩個和使用互不重疊的獨立座標,因此互相獨立。
步驟五:分母為正。 因 ,,而事件 的概率為零。因此 幾乎必然成立, 有良好定義。
步驟六:取比值。 按定義,兩個獨立卡方變量各自除以其自由度後所得的比值,服從 分布。未知的 在比值中抵消。
證明透視
每個假設在哪裏用上
關鍵一步是步驟一。基底一旦與這對巢狀子空間相適配,兩個平方和便成為同一個旋轉後雜訊向量在互不重疊指標集上的座標平方和。獨立性及兩個卡方分布隨即由旋轉不變性得到,無須另行論證獨立性。
- 步驟二需要 。完整模型必須包含真正的平均向量;在虛無假設下,簡化模型亦須包含它。
- 步驟三需要獨立、同方差的高斯誤差;正是這些條件使 具有旋轉不變性。
- 步驟五需要 和 。
備擇假設下的表現。 若 但 ,分母仍為 ;分子則是 乘以一個非中心 變量,其非中心參數為 。此時 服從非中心 分布,傾向出現較大的值,因此檢定在上尾拒絕。
若 ,連 也具有非中心分布。無論哪種情況,都不能聲稱任意 下均有中心 分布;中心分布的結論只針對虛無假設。
尺度不變性。 以 取代 ,其中 ,兩個殘差平方和均乘以 ,所以 不變。特別地,檢定不受量度單位影響。
概念視角幾何
把 F 統計量看成角度
簡化模型的殘差 可正交分解為 與 。若 是 與新增子空間 的夾角,則 、,故 。當 幾乎指向新增的方向時,檢定便拒絕。在單因素 ANOVA 中,,即熟悉的 ;在下面三組的例子中,,而 。
的情況。 假設簡化模型對完整模型 施加一個預先固定的線性限制 。記 和 。
令 。此向量在 內,且與每個滿足 的 正交,因為 。因此 是投影到 的投影,且
除以 可得 ,其中
因此 上尾檢定等同於對同一固定對比做雙側 檢定,而不是單側檢定:平方會丟失 的正負號。
單因素 ANOVA 作為巢狀模型比較
假設有 個非空組別,組別大小為 ,總數 。觀察值滿足
各組有共同的 ,但平均數 可以不同。
完整模型使用 指示矩陣 。其各列的非零位置互不重疊且均非空,所以 有滿列秩, 的秩為 。投影至 ,即以組平均數 取代每個觀察值。
簡化模型使用 ,它是 各列之和,因此兩個模型巢狀,且 的秩為 。投影至 ,即以總平均數取代每個觀察值:
這是各組平均數的加權平均,權重與組別大小成比例。
常見錯誤
(使用組平均數的非加權平均)
組別大小不等時, 與 不同。它不是合併數據的平均數,也不是 在 上的投影,所以不會給出 。在 中以 取代 ,會多出一項 ;這一項並非組間變異,於是 不再成立。最後一道練習在小例子中量度這個差額。
兩個殘差平方和就是熟悉的 ANOVA 量:
命題 1.8.4
(ANOVA 分解)
定義 ,則 。在 下,
證明
(交叉項消失)
將每個觀察值偏離總平均數的程度,寫成組內及組間兩部分:
平方後求和,得到
每組內偏離該組平均數的數值之和為零,因此每個內層和均為零,交叉項消失。
至於分布, 恰好表示 。套用巢狀模型定理,其中 且 ,便得到結果。
例題 1.8.5
(三組各兩個觀察值)
取三組數據 、 和 ,所以 、。
平均數。 各組平均數為 ,總平均數為 。
組內平方和。 每個觀察值距離其組平均數一個單位,因此每組貢獻 ,故 。
組間平方和。
總平方和。 各數值偏離 的差為 。平方後之和為 ,與分解式一致。
檢定統計量。 自由度為 和 ,所以
p 值。 當分子自由度為 時,尾部概率有封閉形式。此時 是標準指數變量 。令 ,則
代入 得 。
結論。 在顯著水平 下,我們不拒絕 。
常見錯誤
(把不拒絕讀成平均數相等)
不拒絕並不證明各組平均數相等。樣本平均數明顯不同;檢定力取決於真正平均數之差、方差及設計,而不單是 。p 值 是在 成立時,得到至少與觀察值一樣大的 值的概率;它不是 。後者需要先驗分布及貝葉斯(Bayes)模型。
反過來,顯著的 值表示容許組別有不同平均數的模型,比共同平均數模型改善擬合的程度超出了雜訊所能解釋的範圍。組別是否造成差異,則取決於個體如何被分配到組別。隨機分配支持因果解讀;觀察所得的分組可能涉及 檢定無法察覺的混雜因素。
只有兩組時,ANOVA 是 恆等式的一個例子。
例題 1.8.6
(兩組: 統計量等於 )
取兩組數據 和 ,所以 、。
- 組平均數為 和 ,總平均數為 。
- 每個觀察值距離其組平均數一個單位,所以 。
- 。
因此
計算合併方差雙樣本 統計量時,合併方差為 。平均數之差為 ,其標準誤為 。所以 ,而 。
對比 是預先固定的,所以 的上尾對應雙側 檢定;利用 分布函數,兩者的 p 值均為 。
例題 1.8.7
(把列數誤當成秩)
回到三組數據 、、,但把完整模型寫成截距列加上三個指示列。這個矩陣有 列,秩卻是 ,因為三個指示列之和等於截距列。它的列空間仍是組平均向量所成的空間,所以投影到該空間的正交投影 、 及 都不變;只是含 的公式不能用,因為該矩陣奇異。
按秩計算,、,重新得到 。按列數計算則得 、,於是 ,並以 作參考:統計量不同,參考分布亦錯誤。
退化情況更明顯。對兩組 和 ,,截距加指示列的矩陣有 列但秩為 。按列數計算得 ,要除以零。按秩計算則 :組平均數為 和 ,總平均數為 ,,,於是 ,自由度為 。
反例模式
組內沒有變異
考慮觀察數據 、。組平均數為 和 ,總平均數為 , 而 。 公式要以 除以 。
也許有人嘗試設 來建模,但此時 是確定的,定理不再適用。
- 在虛無假設下,分子與分母皆為零,得到 。
- 對以上平均數不同的數據,表達式是 。
- 兩者都不服從 分布。
在符合假設且 的高斯模型中, 的事件概率為零。因此這樣的數據是要求我們重新檢視模型的訊號,而不是檢定結果。常見原因包括四捨五入、確定性的量度過程,或誤差結構設定錯誤;不應直接報告無窮大的 值。
參考分布能保證甚麼,不能保證甚麼
定理中的假設足以保證 參考分布;其他特殊設定亦可能因不同原因得到同一分布。
- 模型預先固定。 若嘗試許多候選模型後,只報告 最大的一個,報告的統計量就是多個統計量的最大值,未必服從 ,直接計算的 p 值亦可能偏小。投影論證假設 和 不依賴 。
- 獨立、同方差的高斯誤差。 存在異方差或相依性時, 不再是標準正態向量,所述 參考分布便沒有保證,小樣本下甚至未必是良好近似。
- 完整模型包含真實平均向量。 若不包含,殘差均方的期望為 ,大於 ;但單次觀察得到的殘差均方未必大於 。
- 檢定回答的問題。 比較兩個巢狀子空間在樣本內的擬合;它不量度樣本外預測準確度、不確立因果關係,亦不是後驗概率。
練習
練習 1.8.8
(已知 、、、 和 ,計算並解讀 。)
基礎
解答(3)
- 1
計算統計量
此處 ,,因此
- 2
利用分子自由度為 的封閉形式
利用三組例題中同一封閉形式,
- 3
解讀下降量
從 下降至 ,在慣常顯著水平下並不顯著。下降本身並非證據,因為引理保證對任何數據均有 。要衡量證據,須比較每個新增維度的下降量 ,與每個殘差維度的估計雜訊 。
練習 1.8.9
(分析員有 個候選預測變量,並比較下列兩個程序。甚麼時候 參考分布是精確的?)
核心
- (a) 在收集數據之前,固定含有四個特定預測變量的模型,並與只有截距的模型比較。
- (b) 先查看結果,保留與 相關程度最高的四個預測變量,然後進行同一個 檢定。
解答(3)
- 1
程序 (a):固定的子空間
在 (a) 中, 和 是固定的。若截距與四個預測變量構成滿列秩矩陣、、誤差獨立且服從 並有 ,而 在只有截距的空間內,則精確地有 。
依據: 定理要求 和 的選取不參考 。
- 2
程序 (b):由數據選出的子空間
關鍵一步
在 (b) 中, 是 的函數。投影證明假設子空間固定;用 選取預測變量違反了此前提。一般而言,慣常參考分布不再有保證,而選擇程序可使直接計算的 p 值偏小。有效分析例如可使用保留樣本,或使用考慮了選擇步驟的方法。
- 3
即使 (a) 也不能說明的事
即使在 (a),小 p 值只表示較大子空間解釋的變異超出雜訊所能解釋的程度;它不表示模型能準確預測新數據,亦不能在沒有隨機化時辨識因果效應。
練習 1.8.10
(證明 ,並給出另一個等價展開式。然後求組平均數分別為 和 ,而 、 時的 。)
核心
解答(3)
- 1
對不依賴 的項求和
被加數 不依賴 。在第 組的 個觀察值上求和,便等於將它乘以 ,得到第一個恆等式。
- 2
展開平方
依據: 。
- 3
以加權總平均數計算
總平均數是加權平均 ,因此
展開式給出相同結果:。若以非加權平均 取代 ,公式給出 ,比 多出 ,分解式便不再成立。