為甚麼要計算分配方式?
上一節用自助法(bootstrap)對觀察數據進行有放回重抽樣,以近似估計量的抽樣變異。本節研究另一種檢定:它對固定而有限數目的單位具有精確的有效性。這個保證來自一個可以明確指出的概率機制:處理的隨機分配,或虛無分布下觀察值的可交換性。
數據評估也會遇到同樣的推理。例如,我們可能在隨機分配的用戶上比較改動後的系統與基準系統,或問分類器的準確率是否可能在標籤與特徵無關時出現。核心問題都是:數據的哪些重新標記方式原本有相同可能性?為甚麼? 置換檢定的可信程度,取決於我們能否回答這個問題。
以設計為基礎的設定
固定 個單位,標記為 ,並固定整數 ,使 。記 。
潛在結果。 每個單位 有兩個固定數值:接受處理時會呈現的結果 ,以及不接受處理時會呈現的結果 。它們不是隨機的。這樣的寫法假設單位 的結果只依賴自身是否接受處理,而不依賴其他單位的處理狀態。
分配。 令 為所有滿足 且 的子集所成的集合,並記 。接受處理的集合 從 均勻抽取,且與潛在結果獨立:
這稱為完全隨機化。在此問題中,唯一的隨機性來自 的選取。
觀察結果。 若 ,單位 呈現 ;否則呈現 。
一般而言,我們無法重新計算另一種分配下會出現甚麼數據,因為每個單位的兩個潛在結果中有一個沒有觀察到。若虛無假設能填補這些缺失結果,情況便不同。
定義 7.6.1
(Fisher 強虛無假設)
強虛無假設是指:對每個單位 , 均成立。
在此假設下,以 表示兩個結果的共同值。無論 最終為何,均有 。因此觀察向量 在每一種分配下都相同;每個假設分配下的結果均可精確得知。
檢定統計量。 在查看數據之前,固定以下均值差:
在強虛無假設下,我們可以由觀察數據計算每個 的 ,而不只計算實際出現的 。
定義 7.6.2
(隨機化 值)
上尾 p 值為
以絕對值定義的雙尾 p 值則為
實際分配總會計算在內,所以兩個 p 值均至少為 。
完整列舉
例題 7.6.3
(四個單位、兩個接受處理,結果為 )
取 、,因此 。觀察結果為 ,總和是 ,觀察到的處理組為 。此處及下文以結果值稱呼單位。若處理組兩個結果的和為 ,處理組均值是 ,對照組均值是 ,所以 。
| 處理組 | 處理組均值 | 對照組均值 | |
|---|---|---|---|
觀察統計量為 。只有一種分配滿足 ,故 。
有兩種分配滿足 ,即 和 ,故 。
最小可能的上尾 p 值是 。對此設計的任何結果,這個非隨機化的計數檢定都不能在 水平拒絕虛無假設。 限制來自設計只有六種等可能分配,並不表示數據沒有資訊。
下面的互動圖列出設計中的每一種分配及其精確統計量,把並列值分組,並就你選定的實際處理單位,把精確拒絕概率 與水平 比較。
計數每一種分配:精確 p 值與並列值
固定結果 y₁, …, yₙ 及接受處理的單位數 n₁。在 Fisher 強虛無假設下,每種分配的統計量都已知,所以參照集合就是全部 N = C(n, n₁) 種分配。標出實際接受處理的單位,選定統計量和水平 α,再把精確 p 值、並列值組以及精確拒絕概率 c_J/N 與 α 比較。
選出哪些單位接受了處理。按一個對照單位會令它接受處理,並釋放處理時間最長的單位,因此始終恰有 n₁ 個單位接受處理;按已接受處理的單位不會有任何改變。
每個不同的 S 值對應一條柱,由左至右遞增;柱高是取該值的分配個數 m_j。實心柱的 S 不小於實際的 S,合起來就是 p 值所計算的分配。虛線外框標出實際的值。並列值組表列出相同的資料。
| 值 t_j | 個數 m_j | 累積 c_j | p 值 c_j/N |
|---|---|---|---|
| 4.5 (實際) | 1 | 1 | 1/6 |
| 2.5 | 1 | 2 | 2/6 |
| 1.5 | 1 | 3 | 3/6 |
| −1.5 | 1 | 4 | 4/6 |
| −2.5 | 1 | 5 | 5/6 |
| −4.5 | 1 | 6 | 6/6 |
| α | αN | J | c_J | P(p ≤ α) = c_J/N | 滿足 p ≤ α 的分配個數 | ≤ α | = α |
|---|---|---|---|---|---|---|---|
| 0.01 | 0.06 | 0 | 0 | 0 | 0 | 是 | 否 |
| 0.05 | 0.3 | 0 | 0 | 0 | 0 | 是 | 否 |
| 0.1 | 0.6 | 0 | 0 | 0 | 0 | 是 | 否 |
| 0.2 | 1.2 | 1 | 1 | 1/6 | 1 | 是 | 否 |
| 1/3 | 2 | 2 | 2 | 1/3 | 2 | 是 | 是 |
| 接受處理的單位 | 處理組均值 | 對照組均值 | T | S | 若為實際分配的 p 值 |
|---|---|---|---|---|---|
| {3, 4} (實際) | 6 | 1.5 | 4.5 | 4.5 | 1/6 |
| {2, 4} | 5 | 2.5 | 2.5 | 2.5 | 1/3 |
| {1, 4} | 4.5 | 3 | 1.5 | 1.5 | 1/2 |
| {2, 3} | 3 | 4.5 | −1.5 | −1.5 | 2/3 |
| {1, 3} | 2.5 | 5 | −2.5 | −2.5 | 5/6 |
| {1, 2} | 1.5 | 6 | −4.5 | −4.5 | 1 |
- 單位數 n
- 4
- 分配數 N
- 6
- 實際的 T(A)
- 4.5
- 實際的 S(A)
- 4.5
- p⁺(統計量 T)
- 1/6 ≈ 0.1667
- p±(統計量 |T|)
- 1/3 ≈ 0.3333
- 所選 S 的 p 值
- 1/6 ≈ 0.1667
- 可達到的最小 p 值
- 1/6 ≈ 0.1667
- 並列值組數 k
- 6
- 水平 α
- 0.05
- αN
- 0.3
- c_J
- 0
- P(p ≤ α)
- 0
在此 α 下,沒有任何並列值組滿足 c_j ≤ αN,所以拒絕域為空, 故 P(p ≤ α) = c_J/N = 0/6 = 0, 它嚴格小於 α,所以檢定在此偏保守. 實際的 p 值大於 α,檢定不拒絕虛無假設。 在此 α 下,任何分配都不可能被拒絕:可達到的最小 p 值大於 α。
對全部分配的直接計數與 c_J 一致,且 P(p ≤ α) ≤ α,與定理一致。
為何 P(p ≤ α) = c_J/N ≤ α
把分配按 S 的相同值分組,由大到小:第 j 組有 m_j 種分配,累積個數為 c_j = m_1 + … + m_j。第 j 組中每個分配的 p 值都是 c_j/N,所以並列的分配共用同一個 p 值,且把整組都計算在內。
事件 p(A) ≤ α 恰在 A 屬於最上方 J 組時發生,其中 J 是滿足 c_J ≤ αN 的最大指標。在完全隨機化下 A 在 N 種分配上均勻分布,所以該概率為 c_J/N ≤ α。若沒有任何一組符合,概率為 0。
等式要求 αN 等於某個累積計數;在其他水平,檢定嚴格偏保守。可達到的最小 p 值是 m_1/N,即最上方一組的大小除以 N;低於它時檢定永遠不能拒絕。
範圍:單位數 n 為 2 至 8,結果為 −9 至 20 的整數,完全隨機化下有 n₁ 個單位接受處理,並採用強虛無假設。所有比較都用精確整數和分數進行,所以並列值不會被捨入拆開。可選水平為 0.01、0.05、0.1、0.2 和 1/3。
這裏既沒有正態近似,也沒有連續性修正。參照分布就是這六個值的精確列表。下一定理顯示,若存在並列值,定義中的不等號 會妥善處理它們。
包括並列值在內的精確有效性
定理 7.6.4
(隨機化 值的超均勻性)
假設完全隨機化及強虛無假設成立。令 為分配的任意實值統計量,由固定結果向量 計算,並在看到數據前選定;例如 或 。定義 。則對每個 ,
證明
(先把相同值分組,再計算上尾)
令 為 在 上取到的不同值。令 為滿足 的分配數目,並令 ,即滿足 的分配數目。
若 ,則 。因此同一並列值組中的每個分配都得到相同的 p 值;這個值把該組全部成員以及所有更大值都計算在內。
這些計數滿足 。因此事件 恰在 時發生,其中 是滿足 的最大指標。若不存在這樣的指標,事件為空,其概率為 。
否則,拒絕域是最上方 組的聯集,恰好包含 種分配。強虛無假設使 只依賴 ,而 均勻分布。因此
證明透視
兩個假設在哪裏用上
唯一不明顯的一步,是把看似關於隨機數的事件 ,換成「 落在最上方 個並列組」這個事件;後者是 中在抽取 之前已固定的子集。每個假設各用一次。強虛無假設使 ,從而每個 和每個 ,都不隨 改變;沒有它,分組本身便會隨實際分配移動。完全隨機化則給這個固定子集概率 ;若是其他設計,計數須換成該子集的設計概率。
並列值不會造成困難,因為定義中的 把整個並列組放在分界的同一側,所以分界只能落在某個累積計數 ,不會落在組內。最後不等式的餘量 ,量度水平高出最後一個可達累積計數多少。
超均勻不等於均勻。 當 或 等於某個累積計數 時,等式 成立。在其他水平,檢定嚴格地偏保守。
在 的例子中,每個值都不同,因此 ,且 。若結果有並列值,各組不止一個成員,計數時必須保留它們。
例題 7.6.5
(並列結果 及全部相等的邊界情況)
單位 的結果依次為 ,而 。列出全部六種分配,保留重複的值:
| 處理組 | |
|---|---|
觀察組為 時,統計量為 。一種分配滿足 ,所以 ;兩種分配滿足 ,所以 。若是混合配對,,五種分配滿足 ,故 。
重複次數很重要。若把列表縮成三個不同的值 ,便會錯誤地把每個值的概率都視為 。值為 的組包含四種分配,這正是證明中的 :此處 、,所以 由 直接跳到 ,中間沒有其他值。
極端情況下,若所有結果相等,每種分配都得到 。此時 、,所以 恆為 ;對每個小於 的 ,都有 。「精確」是指水平保證在有限樣本下成立,並非指 p 值服從均勻分布。
預先選定尾部。 定理直接涵蓋預先固定的 或 ;另行論證的選擇規則,也可以對每個分配重新計算。
例題 7.6.6
(看過數據後才選尾部)
假設有人同時計算上尾 p 值及對應的下尾 p 值 ,然後報告較小者。在 的設計中, 和 均使事件 發生,因此其概率是 ,為標稱 的兩倍。查看結果後才選尾部是一種事後選擇。
p 值的含意
是在指定虛無假設及指定設計下計算的尾概率。如果處理不影響任何單位的結果,均勻隨機分配產生至少與觀察值一樣大的均值差的概率便是 。
常見錯誤
(把 p 值讀成虛無假設為真的概率)
不是強虛無假設為真的概率,也不是效應為零的概率。它是假設虛無假設成立後,對分配方式計算的概率。虛無假設是關於固定數值的固定陳述,我們並沒有為它設定先驗分布。
這個推論也只涉及這 個單位。要證明此檢定有效,處理的隨機分配已足夠,無須從總體隨機抽取單位。但同樣地,僅靠分配機制,不能對未參與研究的單位作結論。
強虛無假設與弱虛無假設
弱虛無假設指平均效應為零:。
強虛無假設蘊含弱虛無假設,反之則不成立,因為個別效應可以互相抵銷。上面的隨機化檢定在填補缺失結果時假設強虛無假設成立,所以其保證只針對強虛無假設。下面最後一道習題會明確構造兩者之間的差別。
由可交換性得到的置換檢定
一種相關但邏輯上獨立的檢定,不需要隨機分配處理。
假設 互相獨立,首 個來自分布 ,其餘來自 。在 下,向量由獨立同分布的變量組成,因而是可交換的。
定義 7.6.7
(可交換性)
若對 的每個排列 ,向量 與 有相同分布,則稱隨機向量 是可交換的。
以合併後的值所成的多重集為條件,把位置分成大小分別為 和 的兩組時,每種方式便同樣可能。同一個計數證明因此可在給定合併樣本的條件下使用,繼而也在無條件下成立。
這個虛無假設涉及分布,結論也涉及分布;其依據是抽樣模型,而非分配設計。
均值相等並不足夠,因為可交換性是關於整個分布的性質。
反例模式
均值相等卻不可交換
令第一組唯一的觀察值 必為 。第二組的兩個觀察值 互相獨立,各以概率 取 。兩組的均值都是 。令 ,以 為統計量,考慮從合併後的三個值中選哪個作為單元素組的三種方式。
- ,概率 。 合併值為 。三種單元素選擇分別給出 。觀察到的 ,所以 。
- ,概率 。 由對稱性,。
- 一正一負,概率 。 合併值為 。三種選擇給出 。觀察到的 ,所以 。
因此 ,超過 。此處置換檢定無效:雖然均值相同,標籤仍透露了分散程度的資訊。
評估工作也需要同樣謹慎。在特徵與標籤獨立、且樣本獨立同分布的虛無假設下,可以用標籤置換檢定關聯統計量。若分類器的擬合獨立於測試標籤,可以把它固定;若訓練、調參或選擇使用了被打亂的標籤,便必須對每次打亂重做整個依賴標籤的程序。這是檢定所指定的獨立性虛無假設,而非較弱的主張;對互相依賴的項目,例如來自同一來源的多個項目,不受限制地打亂並非自動有效。
設計決定參照集合
就上述以設計為基礎的論證而言,不受限制地均勻置換全部 個標籤,對應的是完全隨機化,即每個大小為 的子集都同樣可能。其他分配設計須使用其實際概率。基於可交換抽樣的置換檢定,則有上文所述的另一種理據。
- 分層區組。 若隨機化在各區組內分別進行,只可在區組內置換。參照集合是各區組內子集集合的乘積。
- 配對。 若每對恰有一個單位接受處理,分配方式是每對內的交換。若每對獨立而公平地分配, 對會有 種等可能分配(見配對設計的習題);其他設計則須使用其實際概率。
- 不等的分配概率。 按設計概率為每種分配加權:。把分組證明中的計數改為累積概率,論證仍然成立。
- 簇或依賴。 若整個簇一同接受處理,應置換簇標籤,而非單位標籤。若單位互相影響,潛在結果模型本身便需要修訂。
- 事後選擇。 利用處理標籤和結果選擇統計量、尾部、子組或單位,而沒有在各分配下重現該選擇,可使固定統計量的論證失效。另一做法是對每個分配重複預先聲明的選擇規則;在強虛無假設下只根據固定合併結果進行選擇,也可能保留該論證。
自助法與置換法
兩種程序回答不同問題。
一般非參數自助法進行有放回重抽樣,以近似估計量相對未知真值的抽樣變異。其漸近有效性需要假設,在非正則問題中可能失效。
置換檢定在使重新標記等可能的虛無假設下不放回地重新標記。它提供精確的水平保證,但單靠它本身,既得不到標準誤,也得不到總體區間。
常見錯誤
(用一種方法的參照分布回答另一種方法的問題)
一般自助法的參照分布不會自動成為虛無分布;強制虛無假設的構造可能需要重新置中或另一模型。虛無假設下的置換分布,也不會自動成為對立假設下的抽樣分布。兩種方法不能自然而然互相取代。
如何計算檢定
- 先固定設計、統計量及尾部。 在計算前記錄這些選擇。
- 利用結構。 由於 固定, 隨處理組總和 增大而增大。因此只須列舉處理組總和。
- 精確比較。 並列值會影響 p 值,而浮點均值可能把真正相等的值拆開。可行情況下應比較整數或有理數總和。可證明只會擴大計入尾部的非負容差,例如以精確算術計入 ,得到保守的計數;任意捨入則可能拆開或改變並列值的次序,需要另行論證。
- 了解窮舉的限制。 種分配容易列舉; 種則不容易。
- 以 Monte Carlo 近似。 從實際設計的分布中獨立抽取 個分配 ,並使這些抽取與觀察到的分配 獨立。直接比例 只是精確 p 值的近似。以下版本
在虛無假設下本身是超均勻的,因為 可交換。它仍不是精確列舉得到的 p 值,而且每次運行可能不同。應報告 及隨機種子。
習題
練習 7.6.8
(結果為 ,,觀察到接受處理的單位結果為 。求 和 。)
基礎
解答(2)
- 1
列出三種分配
有 種分配,總和為 。接受處理的單位結果為 時,。
接受處理的單位 - 2
計算尾部
觀察統計量是 。只有一種分配滿足 ,故 。有兩種分配滿足 ,故 。
練習 7.6.9
(四個單位組成兩對;每對恰有一個單位接受處理,並由各對獨立的公平隨機化選出。觀察到各對「處理減對照」的差為 和 。以 表示各對帶符號差的總和,求 。)
核心
解答(2)
- 1
找出設計容許的分配
關鍵一步
設計只容許 種分配,對應每對選哪個單位接受處理。在強虛無假設下,交換一對中的處理狀態會把該對的差變號:
符號 使用全部 個子集是錯的。其中兩個把同一對的兩個成員放在同一組,設計賦予這些分配的概率是 。把它們包括在內會改變參照分布,使證明中均勻性的步驟不再描述 的實際抽取方式。
依據: 只有對內交換具有正的設計概率。
- 2
計算上尾
觀察值為 ,只有 達到它,所以 。
練習 7.6.10
(構造一組潛在結果,使弱虛無假設成立而強虛無假設不成立,並解釋這對隨機化檢定的含意。)
綜合
解答(3)
- 1
選兩個效應相反的單位
取兩個單位,令 :
- 單位 1:、,效應為 。
- 單位 2:、,效應為 。
平均效應為 ,所以弱虛無假設成立;強虛無假設則不成立。
- 2
比較填補的結果與真正的結果
關鍵一步
假設單位 1 接受處理,觀察結果為 。強虛無假設會把同樣的結果填入另一種分配。實際上,若單位 2 接受處理,則 、,真正的結果會是 。
- 3
解讀檢定
定理所需的前提——結果向量在各分配下保持不變——在此不成立,因此其保證不適用。隨機化檢定得到小 p 值,是反對「沒有單位受影響」的證據;若沒有進一步論證,它不是反對「效應平均為零」的證據。檢定弱虛無假設需要不同的統計量及不同的理據。
總結
隨機化檢定計算分配方式。在強虛無假設和完全隨機化下,觀察到的分配是從已知有限集合中均勻抽取的結果;其他設計則須使用其實際分配概率。將並列值分組,便精確得到 ,通常還會有偏保守的餘量。
雙樣本置換檢定則依賴共同分布下的可交換性。
預先固定統計量,並使參照集合符合數據實際產生的方式,便得到這裏所示的保證。選擇程序需要自身的有效理據,例如在各分配下重複預先聲明的規則。