數據分析中報告的許多數量都是比例,例如分類器把多少比例的保留負例判為正例、它偵測到多少比例的正例,以及多少比例的交易失敗。像 p ^ = 0 / 10 \hat p = 0/10 p ^ = 0/10 這樣的單一數字,並不能反映我們對背後比率有多大把握。本節建立三種二項比例區間方法,解釋各自能夠及不能夠保證甚麼,也說明為何最熟悉的公式在特別需要區間的情況下並不可靠。
模型與覆蓋率的意義
令 X 1 , … , X n X_1,\dots,X_n X 1 , … , X n 為互相獨立的 Bernoulli(p p p ) 隨機變量,其中 n ≥ 1 n \ge 1 n ≥ 1 固定而 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] 未知。計數 S = ∑ i = 1 n X i S = \sum\limits_{i=1}^n X_i S = i = 1 ∑ n X i 服從二項分布:
P p ( S = j ) = ( n j ) p j ( 1 − p ) n − j , j = 0 , 1 , … , n . P_p(S = j) = \binom{n}{j} p^j (1-p)^{n-j}, \qquad j = 0,1,\dots,n. P p ( S = j ) = ( j n ) p j ( 1 − p ) n − j , j = 0 , 1 , … , n .
當 p = 0 p = 0 p = 0 或 p = 1 p = 1 p = 1 時,以連續性理解此公式(等價地,取 0 0 = 1 0^0 = 1 0 0 = 1 )。觀察到 S = k S = k S = k 後,記 p ^ = k / n \hat p = k/n p ^ = k / n 。固定 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) 。
這個模型包含需要核實的假設,不能視為理所當然。例如數張測試影像來自同一病人時,獨立性可能不成立。若研究單位是一組固定個體,而各人事件概率不同,共同的 p p p 便不成立;此時計數服從 Poisson-binomial 分布,而非二項分布。相反,若各單位獨立地從總體抽取,即使總體內部有差異,每個 X i X_i X i 仍是以總體比率為參數的 Bernoulli 變量。因此,異質性本身不一定構成問題,但抽樣設計必須支持模型。在分類問題中,p p p 可以是假陽性率:固定分類器把隨機抽取的負例判為正例的概率。
定義 7.3.1
(置信區間方法、覆蓋率與置信水平)
置信區間方法 是一對定義在 { 0 , … , n } \{0,\dots,n\} { 0 , … , n } 上的函數 ℓ , u \ell, u ℓ , u 。它在 p p p 的覆蓋率 為
C ( p ) = P p ( ℓ ( S ) ≤ p ≤ u ( S ) ) . C(p) = P_p\big(\ell(S) \le p \le u(S)\big). C ( p ) = P p ( ℓ ( S ) ≤ p ≤ u ( S ) ) . 若每個 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] 都滿足 C ( p ) ≥ 1 − α C(p) \ge 1-\alpha C ( p ) ≥ 1 − α ,該方法便有置信水平 1 − α 1-\alpha 1 − α 。
在這個概率中,p p p 固定;端點則因 S S S 隨機而隨機。一旦觀察到 k k k ,區間 [ ℓ ( k ) , u ( k ) ] [\ell(k), u(k)] [ ℓ ( k ) , u ( k )] 就是固定的數值集合:它要麼包含 p p p ,要麼不包含。
「p p p 落在 [ 0 , 0.31 ] [0, 0.31] [ 0 , 0.31 ] 的概率是 95%」這句話給 p p p 賦予概率分布,而本框架沒有這樣做。95% 描述的是在模型下重複抽樣時,方法的長期表現;算出的區間 [ 0 , 0.31 ] [0,0.31] [ 0 , 0.31 ] 要麼包含固定的數 p p p ,要麼不包含。
從正態均值區間到二項比例
若 Y 1 , … , Y n Y_1,\dots,Y_n Y 1 , … , Y n 互相獨立且服從 N ( μ , σ 2 ) N(\mu,\sigma^2) N ( μ , σ 2 ) ,而 σ \sigma σ 已知,則 ( Y ˉ − μ ) / ( σ / n ) (\bar Y - \mu)/(\sigma/\sqrt n) ( Y ˉ − μ ) / ( σ / n ) 精確服從標準正態分布。令 z = Φ − 1 ( 1 − α / 2 ) > 0 z = \Phi^{-1}(1-\alpha/2) > 0 z = Φ − 1 ( 1 − α /2 ) > 0 ,則 Y ˉ ± z σ / n \bar Y \pm z\sigma/\sqrt n Y ˉ ± z σ / n 的覆蓋率恰為 1 − α 1-\alpha 1 − α 。
對 Bernoulli 數據,p ^ = X ˉ \hat p = \bar X p ^ = X ˉ 的均值為 p p p ,方差為 p ( 1 − p ) / n p(1-p)/n p ( 1 − p ) / n 。由中心極限定理,當 0 < p < 1 0 \lt p \lt 1 0 < p < 1 而 n n n 大時,
p ^ − p p ( 1 − p ) / n ≈ N ( 0 , 1 ) . \frac{\hat p - p}{\sqrt{p(1-p)/n}} \approx N(0,1). p ( 1 − p ) / n p ^ − p ≈ N ( 0 , 1 ) .
與正態情況有兩個重要分別:方差依賴未知的 p p p ,而且 S S S 是離散的,所以正態近似從不是精確的。處理未知方差有兩個自然方法:在方差中用 p ^ \hat p p ^ 代替 p p p 得到 Wald 區間;保留方差中的 p p p ,然後解出可能的 p p p 所成的集合,則得到 Wilson 區間。
Wald 區間及其邊界失效
取 z = Φ − 1 ( 1 − α / 2 ) z = \Phi^{-1}(1-\alpha/2) z = Φ − 1 ( 1 − α /2 ) ,p p p 的 Wald 區間 是
p ^ ± z p ^ ( 1 − p ^ ) n . \hat p \pm z\sqrt{\frac{\hat p(1-\hat p)}{n}}. p ^ ± z n p ^ ( 1 − p ^ ) .
當 k = 0 k = 0 k = 0 或 k = n k = n k = n ,估計標準誤為 0 0 0 ,區間收縮為單點 { 0 } \{0\} { 0 } 或 { 1 } \{1\} { 1 } 。估計 標準誤為零並不表示沒有不確定性:這只是代入公式在 p ^ \hat p p ^ 的邊界值上的結果,此時公式沒有提供不確定性的資訊。Wald 區間也可能超出 [ 0 , 1 ] [0,1] [ 0 , 1 ] 。若 n = 10 n = 10 n = 10 、k = 1 k = 1 k = 1 ,半寬為 1.95996 0.09 / 10 ≈ 0.1859 1.95996\sqrt{0.09/10} \approx 0.1859 1.95996 0.09/10 ≈ 0.1859 ,下端點約為 − 0.0859 -0.0859 − 0.0859 。
常見錯誤
(把 Wald 區間截到 [ 0 , 1 ] [0,1] [ 0 , 1 ] )
把 Wald 區間與 [ 0 , 1 ] [0,1] [ 0 , 1 ] 取交集可移除不可能的數值,容易令人以為方法已被修正。其實它完全不能改變覆蓋率:對每個 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] 和每個區間 I I I ,p ∈ I p \in I p ∈ I 恰好在 p ∈ I ∩ [ 0 , 1 ] p \in I\cap[0,1] p ∈ I ∩ [ 0 , 1 ] 時成立,所以截斷後的方法與原方法有相同的覆蓋率函數 C ( p ) C(p) C ( p ) 。校準問題絲毫未變。
反例模式
Wald 覆蓋率可以為零 取 n = 1 n = 1 n = 1 。若 S = 0 S = 0 S = 0 ,Wald 區間是 [ 0 , 0 ] [0,0] [ 0 , 0 ] ;若 S = 1 S = 1 S = 1 ,則為 [ 1 , 1 ] [1,1] [ 1 , 1 ] 。對任何 0 < p < 1 0 \lt p \lt 1 0 < p < 1 ,兩個區間都不包含 p p p ,所以 C ( p ) = 0 C(p) = 0 C ( p ) = 0 。對每個 α \alpha α ,這個方法的標稱水平都是「1 − α 1-\alpha 1 − α 」(特別是當 α = 0.05 \alpha = 0.05 α = 0.05 時為 95%),但它在每個內部 p p p 的覆蓋率都是 0 0 0 。只有在 p = 0 p = 0 p = 0 和 p = 1 p = 1 p = 1 ,覆蓋率才等於 1 1 1 。n n n 較大時缺陷沒有這麼極端,但只要 n p np n p 小,邊界附近仍會出現問題。
Wilson 得分區間
得分法保留虛無假設下的方差。對 0 < p < 1 0 \lt p \lt 1 0 < p < 1 ,若
∣ p ^ − p ∣ ≤ z p ( 1 − p ) n , |\hat p - p| \le z\sqrt{\frac{p(1-p)}{n}}, ∣ p ^ − p ∣ ≤ z n p ( 1 − p ) ,
便保留該 p p p 值。在 p = 0 p = 0 p = 0 或 p = 1 p = 1 p = 1 時,標準化統計量沒有定義;例如 p ^ = 0 \hat p = 0 p ^ = 0 且 p = 0 p = 0 p = 0 時,它的形式是 0 / 0 0/0 0/0 。為避免這個問題,我們以無須相除的平方形式定義保留集合:
A ( p ^ ) = { p ∈ [ 0 , 1 ] : ( p ^ − p ) 2 ≤ z 2 n p ( 1 − p ) } . A(\hat p) = \Big\{p \in [0,1] : (\hat p - p)^2 \le \tfrac{z^2}{n}\,p(1-p)\Big\}. A ( p ^ ) = { p ∈ [ 0 , 1 ] : ( p ^ − p ) 2 ≤ n z 2 p ( 1 − p ) } .
對內部的 p p p ,兩個條件等價。在 p = 0 p = 0 p = 0 時,平方條件變為 p ^ 2 ≤ 0 \hat p^2 \le 0 p ^ 2 ≤ 0 ,故恰在 k = 0 k = 0 k = 0 時保留 0 0 0 ;這與內部集合在 p ↓ 0 p \downarrow 0 p ↓ 0 的極限一致。
對每個 k ∈ { 0 , … , n } k \in \{0,\dots,n\} k ∈ { 0 , … , n } ,集合 A ( p ^ ) A(\hat p) A ( p ^ ) 是閉區間,其中心和半寬分別為
c = p ^ + z 2 2 n 1 + z 2 n , h = z p ^ ( 1 − p ^ ) n + z 2 4 n 2 1 + z 2 n . c = \frac{\hat p + \dfrac{z^2}{2n}}{1 + \dfrac{z^2}{n}}, \qquad
h = \frac{z\sqrt{\dfrac{\hat p(1-\hat p)}{n} + \dfrac{z^2}{4n^2}}}{1 + \dfrac{z^2}{n}}. c = 1 + n z 2 p ^ + 2 n z 2 , h = 1 + n z 2 z n p ^ ( 1 − p ^ ) + 4 n 2 z 2 . 兩個端點 c ± h c \pm h c ± h 均在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 內。下端點恰在 k = 0 k = 0 k = 0 時為 0 0 0 ,上端點恰在 k = n k = n k = n 時為 1 1 1 。
展開 ( p ^ − p ) 2 ≤ z 2 n p ( 1 − p ) (\hat p - p)^2 \le \frac{z^2}{n}p(1-p) ( p ^ − p ) 2 ≤ n z 2 p ( 1 − p ) 並整理,得到 Q ( p ) ≤ 0 Q(p) \le 0 Q ( p ) ≤ 0 ,其中
Q ( p ) = ( 1 + z 2 n ) p 2 − ( 2 p ^ + z 2 n ) p + p ^ 2 . Q(p) = \Big(1 + \tfrac{z^2}{n}\Big)p^2 - \Big(2\hat p + \tfrac{z^2}{n}\Big)p + \hat p^2 . Q ( p ) = ( 1 + n z 2 ) p 2 − ( 2 p ^ + n z 2 ) p + p ^ 2 . 判別式為
( 2 p ^ + z 2 n ) 2 − 4 ( 1 + z 2 n ) p ^ 2 = 4 z 2 n p ^ ( 1 − p ^ ) + z 4 n 2 > 0 , \Big(2\hat p + \tfrac{z^2}{n}\Big)^2 - 4\Big(1+\tfrac{z^2}{n}\Big)\hat p^2
= \tfrac{4z^2}{n}\hat p(1-\hat p) + \tfrac{z^4}{n^2} \gt 0, ( 2 p ^ + n z 2 ) 2 − 4 ( 1 + n z 2 ) p ^ 2 = n 4 z 2 p ^ ( 1 − p ^ ) + n 2 z 4 > 0 , 故 Q Q Q 有兩個不同的實根 r 1 < r 2 r_1 \lt r_2 r 1 < r 2 。由於首項係數為正,Q ≤ 0 Q \le 0 Q ≤ 0 恰好在 [ r 1 , r 2 ] [r_1, r_2] [ r 1 , r 2 ] 上成立。二次公式給出所述的根 c ± h c \pm h c ± h ;判別式開平方後的因子 2 2 2 與分母中的 2 2 2 約去。
為了確定根在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 內,計算端點值:
Q ( 0 ) = p ^ 2 ≥ 0 , Q ( 1 ) = 1 + z 2 n − 2 p ^ − z 2 n + p ^ 2 = ( 1 − p ^ ) 2 ≥ 0. Q(0) = \hat p^2 \ge 0, \qquad Q(1) = 1 + \tfrac{z^2}{n} - 2\hat p - \tfrac{z^2}{n} + \hat p^2 = (1-\hat p)^2 \ge 0. Q ( 0 ) = p ^ 2 ≥ 0 , Q ( 1 ) = 1 + n z 2 − 2 p ^ − n z 2 + p ^ 2 = ( 1 − p ^ ) 2 ≥ 0. 頂點 c c c 嚴格位於 ( 0 , 1 ) (0,1) ( 0 , 1 ) 內。顯然 c > 0 c \gt 0 c > 0 ,而 c < 1 c \lt 1 c < 1 等價於 p ^ < 1 + z 2 / ( 2 n ) \hat p \lt 1 + z^2/(2n) p ^ < 1 + z 2 / ( 2 n ) ,這總是成立。由於 c ∈ ( r 1 , r 2 ) c \in (r_1, r_2) c ∈ ( r 1 , r 2 ) 且 0 < c 0 \lt c 0 < c ,當 Q ( 0 ) > 0 Q(0) \gt 0 Q ( 0 ) > 0 時,0 0 0 在 [ r 1 , r 2 ] [r_1,r_2] [ r 1 , r 2 ] 左側之外;當 Q ( 0 ) = 0 Q(0) = 0 Q ( 0 ) = 0 時,0 = r 1 0 = r_1 0 = r 1 。兩種情況均有 r 1 ≥ 0 r_1 \ge 0 r 1 ≥ 0 ,且等號恰在 p ^ = 0 \hat p = 0 p ^ = 0 時成立。對 1 1 1 用同樣論證,可得 r 2 ≤ 1 r_2 \le 1 r 2 ≤ 1 ,且等號恰在 p ^ = 1 \hat p = 1 p ^ = 1 時成立。
當 k = 0 k = 0 k = 0 ,公式化為 c = h = z 2 / ( 2 ( n + z 2 ) ) c = h = z^2/(2(n+z^2)) c = h = z 2 / ( 2 ( n + z 2 )) ,所以區間是 [ 0 , z 2 / ( n + z 2 ) ] [0,\, z^2/(n+z^2)] [ 0 , z 2 / ( n + z 2 )] 。由對稱變換 p ^ ↦ 1 − p ^ \hat p \mapsto 1-\hat p p ^ ↦ 1 − p ^ ,k = n k = n k = n 的區間是 [ n / ( n + z 2 ) , 1 ] [n/(n+z^2),\, 1] [ n / ( n + z 2 ) , 1 ] 。
證明顯示統計上無須截斷區間。若浮點計算在 k = 0 k = 0 k = 0 時給出下端點 − 10 − 17 -10^{-17} − 1 0 − 17 ,把它改為 0 0 0 只是修正捨入誤差。
Wilson 區間反演的是一個近似 校準的檢定。對任何有限的 n n n ,都不能保證其覆蓋率函數一直不低於 1 − α 1-\alpha 1 − α 。由於 S S S 只有 n + 1 n+1 n + 1 個可能值,當 p p p 越過某個端點時,覆蓋率會跳變。如下面第一道習題所示,計數較少時,在某些 p p p 值處覆蓋率可能明顯低於標稱水平。
精確等尾概率反演
若要保證水平,可以用二項分布本身的尾概率代替正態近似。
設 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 。對 1 ≤ k ≤ n 1 \le k \le n 1 ≤ k ≤ n ,令 L ( k ) L(k) L ( k ) 為滿足 P p ( S ≥ k ) = α / 2 P_p(S \ge k) = \alpha/2 P p ( S ≥ k ) = α /2 的唯一 p ∈ ( 0 , 1 ) p \in (0,1) p ∈ ( 0 , 1 ) 。設 U ( n ) = 1 U(n) = 1 U ( n ) = 1 。對 0 ≤ k ≤ n − 1 0 \le k \le n-1 0 ≤ k ≤ n − 1 ,令 U ( k ) U(k) U ( k ) 為滿足 P p ( S ≤ k ) = α / 2 P_p(S \le k) = \alpha/2 P p ( S ≤ k ) = α /2 的唯一 p ∈ ( 0 , 1 ) p \in (0,1) p ∈ ( 0 , 1 ) 。區間 [ L ( k ) , U ( k ) ] [L(k), U(k)] [ L ( k ) , U ( k )] 通常稱為 Clopper–Pearson 區間。
這些根的存在性與唯一性由下一個定理保證。
定理 7.3.5
(二項尾概率對 p p p 嚴格單調)
對 1 ≤ k ≤ n 1 \le k \le n 1 ≤ k ≤ n ,函數 G ( p ) = P p ( S ≥ k ) G(p) = P_p(S \ge k) G ( p ) = P p ( S ≥ k ) 在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上連續且嚴格遞增,並有 G ( 0 ) = 0 G(0) = 0 G ( 0 ) = 0 、G ( 1 ) = 1 G(1) = 1 G ( 1 ) = 1 。對 0 ≤ k ≤ n − 1 0 \le k \le n-1 0 ≤ k ≤ n − 1 ,函數 H ( p ) = P p ( S ≤ k ) H(p) = P_p(S \le k) H ( p ) = P p ( S ≤ k ) 在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上連續且嚴格遞減,並有 H ( 0 ) = 1 H(0) = 1 H ( 0 ) = 1 、H ( 1 ) = 0 H(1) = 0 H ( 1 ) = 0 。因此 L ( k ) L(k) L ( k ) 和 U ( k ) U(k) U ( k ) 均有良好定義。
兩個函數都是 p p p 的多項式,故連續。令 V 1 , … , V n V_1,\dots,V_n V 1 , … , V n 為獨立的 Uniform( 0 , 1 ) (0,1) ( 0 , 1 ) 變量,定義 S p = ∑ i 1 { V i ≤ p } S_p = \sum\limits_i \mathbf 1\{V_i \le p\} S p = i ∑ 1 { V i ≤ p } 。則 S p ∼ Bin ( n , p ) S_p \sim \text{Bin}(n,p) S p ∼ Bin ( n , p ) ,且當 p < p ′ p \lt p' p < p ′ 時,逐點有 S p ≤ S p ′ S_p \le S_{p'} S p ≤ S p ′ 。因此
G ( p ′ ) − G ( p ) = P ( S p ≤ k − 1 , S p ′ ≥ k ) . G(p') - G(p) = P(S_p \le k-1,\; S_{p'} \ge k). G ( p ′ ) − G ( p ) = P ( S p ≤ k − 1 , S p ′ ≥ k ) . 對 0 < p < p ′ < 1 0 \lt p \lt p' \lt 1 0 < p < p ′ < 1 ,考慮事件 V 1 , … , V k ∈ ( p , p ′ ] V_1,\dots,V_k \in (p, p'] V 1 , … , V k ∈ ( p , p ′ ] 且 V k + 1 , … , V n ∈ ( p ′ , 1 ) V_{k+1},\dots,V_n \in (p', 1) V k + 1 , … , V n ∈ ( p ′ , 1 ) 。在此事件上,S p = 0 ≤ k − 1 S_p = 0 \le k-1 S p = 0 ≤ k − 1 且 S p ′ = k S_{p'} = k S p ′ = k 。該事件的概率是 ( p ′ − p ) k ( 1 − p ′ ) n − k > 0 (p'-p)^k(1-p')^{n-k} \gt 0 ( p ′ − p ) k ( 1 − p ′ ) n − k > 0 ,故 G G G 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上嚴格遞增。由連續性,它在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上也嚴格遞增。
在端點,由於 k ≥ 1 k \ge 1 k ≥ 1 而 S = 0 S = 0 S = 0 幾乎必然成立,故 G ( 0 ) = P 0 ( S ≥ k ) = 0 G(0) = P_0(S \ge k) = 0 G ( 0 ) = P 0 ( S ≥ k ) = 0 ;另外 G ( 1 ) = 1 G(1) = 1 G ( 1 ) = 1 。因為 0 < α / 2 < 1 0 \lt \alpha/2 \lt 1 0 < α /2 < 1 ,介值定理給出一個根,嚴格單調性使根唯一,端點值則排除 p ∈ { 0 , 1 } p \in \{0,1\} p ∈ { 0 , 1 } 。對 H H H 的結論由 H ( p ) = 1 − P p ( S ≥ k + 1 ) H(p) = 1 - P_p(S \ge k+1) H ( p ) = 1 − P p ( S ≥ k + 1 ) 得出。
區間也不會退化為單點。對 1 ≤ k ≤ n − 1 1 \le k \le n-1 1 ≤ k ≤ n − 1 ,在 p = L ( k ) p = L(k) p = L ( k ) 處,H ( L ( k ) ) = 1 − P L ( k ) ( S ≥ k + 1 ) ≥ 1 − P L ( k ) ( S ≥ k ) = 1 − α / 2 > α / 2 = H ( U ( k ) ) H(L(k)) = 1 - P_{L(k)}(S \ge k+1) \ge 1 - P_{L(k)}(S \ge k) = 1 - \alpha/2 \gt \alpha/2 = H(U(k)) H ( L ( k )) = 1 − P L ( k ) ( S ≥ k + 1 ) ≥ 1 − P L ( k ) ( S ≥ k ) = 1 − α /2 > α /2 = H ( U ( k )) 。由於 H H H 遞減,得到 L ( k ) < U ( k ) L(k) \lt U(k) L ( k ) < U ( k ) 。
概念視角 分析
精確端點作為次序統計量的分位數 耦合給出的不只是單調性。在耦合中,S p ≥ k S_p\ge k S p ≥ k 恰好當 V 1 , … , V n V_1,\dots,V_n V 1 , … , V n 中第 k k k 小者不超過 p p p ,所以 G ( p ) = P ( V ( k ) ≤ p ) G(p)=P(V_{(k)}\le p) G ( p ) = P ( V ( k ) ≤ p ) 是該次序統計量的分布函數,而它服從 Beta( k , n − k + 1 ) (k,n-k+1) ( k , n − k + 1 ) 分布。因此 L ( k ) L(k) L ( k ) 是 Beta( k , n − k + 1 ) (k,n-k+1) ( k , n − k + 1 ) 的 α / 2 \alpha/2 α /2 分位數;又因 P p ( S ≤ k ) = P ( V ( k + 1 ) > p ) P_p(S\le k)=P(V_{(k+1)}\gt p) P p ( S ≤ k ) = P ( V ( k + 1 ) > p ) ,U ( k ) U(k) U ( k ) 是 Beta( k + 1 , n − k ) (k+1,n-k) ( k + 1 , n − k ) 的 1 − α / 2 1-\alpha/2 1 − α /2 分位數。當 k = 0 k=0 k = 0 時這就是 1 − ( 1 − p ) n = 1 − α / 2 1-(1-p)^n=1-\alpha/2 1 − ( 1 − p ) n = 1 − α /2 ,與零事件例子一致。
對每個 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] ,都有 P p ( L ( S ) ≤ p ≤ U ( S ) ) ≥ 1 − α P_p\big(L(S) \le p \le U(S)\big) \ge 1-\alpha P p ( L ( S ) ≤ p ≤ U ( S ) ) ≥ 1 − α 。
在 p = 0 p = 0 p = 0 時,S = 0 S = 0 S = 0 幾乎必然成立,且 [ L ( 0 ) , U ( 0 ) ] = [ 0 , U ( 0 ) ] [L(0), U(0)] = [0, U(0)] [ L ( 0 ) , U ( 0 )] = [ 0 , U ( 0 )] 包含 0 0 0 。在 p = 1 p = 1 p = 1 時,S = n S = n S = n 幾乎必然成立,且 [ L ( n ) , 1 ] [L(n), 1] [ L ( n ) , 1 ] 包含 1 1 1 。兩種情況的覆蓋率都是 1 1 1 。
現在固定 0 < p < 1 0 \lt p \lt 1 0 < p < 1 ,令 g ( j ) = P p ( S ≥ j ) g(j) = P_p(S \ge j) g ( j ) = P p ( S ≥ j ) ,它對 j j j 非遞增。把 g ( S ) g(S) g ( S ) 視為檢定此 p p p 值的上尾 p 值。
超均勻性。 對 t ∈ [ 0 , 1 ] t \in [0,1] t ∈ [ 0 , 1 ] ,由於 g g g 非遞增,集合 { j : g ( j ) ≤ t } \{j : g(j) \le t\} { j : g ( j ) ≤ t } 要麼為空,要麼形如 { j ≥ j ∗ } \{j \ge j^*\} { j ≥ j ∗ } 。因此 P p ( g ( S ) ≤ t ) P_p(g(S) \le t) P p ( g ( S ) ≤ t ) 要麼為 0 0 0 ,要麼等於 g ( j ∗ ) ≤ t g(j^*) \le t g ( j ∗ ) ≤ t 。無論哪種情況,P p ( g ( S ) ≤ t ) ≤ t P_p(g(S) \le t) \le t P p ( g ( S ) ≤ t ) ≤ t 。
下端點失覆蓋。 假設 L ( S ) > p L(S) \gt p L ( S ) > p 。因為 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 ,必有 S ≥ 1 S \ge 1 S ≥ 1 。由尾概率對 p p p 嚴格遞增,g ( S ) = P p ( S ′ ≥ S ) < P L ( S ) ( S ′ ≥ S ) = α / 2 g(S) = P_p(S' \ge S) \lt P_{L(S)}(S' \ge S) = \alpha/2 g ( S ) = P p ( S ′ ≥ S ) < P L ( S ) ( S ′ ≥ S ) = α /2 ,其中 S ′ S' S ′ 是獨立的同分布副本。因此 P p ( L ( S ) > p ) ≤ P p ( g ( S ) ≤ α / 2 ) ≤ α / 2 P_p(L(S) \gt p) \le P_p(g(S) \le \alpha/2) \le \alpha/2 P p ( L ( S ) > p ) ≤ P p ( g ( S ) ≤ α /2 ) ≤ α /2 。
對隨 j j j 非遞減的 g ˉ ( j ) = P p ( S ≤ j ) \bar g(j) = P_p(S \le j) g ˉ ( j ) = P p ( S ≤ j ) 使用同樣論證,可得 P p ( U ( S ) < p ) ≤ α / 2 P_p(U(S) \lt p) \le \alpha/2 P p ( U ( S ) < p ) ≤ α /2 。由聯合界,不覆蓋的概率至多為 α \alpha α 。
失覆蓋條件是嚴格不等式。若 p = L ( k ) p = L(k) p = L ( k ) 恰好成立,則 g ( k ) = α / 2 g(k) = \alpha/2 g ( k ) = α /2 ,而閉區間仍包含 p p p 。若存在滿足 g ( j ) < α / 2 g(j) \lt \alpha/2 g ( j ) < α /2 的 j j j ,令 j 0 j_0 j 0 為最小的這類 j j j ,則 P p ( L ( S ) > p ) = g ( j 0 ) < α / 2 P_p(L(S) \gt p) = g(j_0) \lt \alpha/2 P p ( L ( S ) > p ) = g ( j 0 ) < α /2 。若不存在這樣的 j j j ,失覆蓋事件為空,其概率為 0 0 0 。因此對內部的 p p p ,覆蓋率實際上嚴格大於 1 − α 1-\alpha 1 − α ,雖然超出的幅度隨 p p p 不規則地改變。
證明透視
兩種單調性,沒有任何近似 覆蓋率證明用到兩個不同變量上的單調性。g ( j ) = P p ( S ≥ j ) g(j)=P_p(S\ge j) g ( j ) = P p ( S ≥ j ) 對 j j j 單調,使 p 值 g ( S ) g(S) g ( S ) 超均勻:P p ( g ( S ) ≤ t ) P_p(g(S)\le t) P p ( g ( S ) ≤ t ) 是不超過 t t t 的可取得尾概率中最大的一個(或為 0 0 0 ),永不超過 t t t 。尾概率對 p p p 單調,即耦合定理,把端點事件 L ( S ) > p L(S)>p L ( S ) > p 轉化為真實 p p p 下的 p 值事件 g ( S ) < α / 2 g(S)<\alpha/2 g ( S ) < α /2 。沒有這一聯繫,L L L 的定義是在參數值 L ( k ) L(k) L ( k ) 處作出的,對 p p p 處的概率便無話可說。
聯合界把兩個尾部相加。這裏它沒有損失,因為 L ( S ) ≤ U ( S ) L(S)\le U(S) L ( S ) ≤ U ( S ) 使事件 L ( S ) > p L(S)>p L ( S ) > p 與 U ( S ) < p U(S)<p U ( S ) < p 互斥。保守性完全來自離散性:α / 2 \alpha/2 α /2 通常不是可取得的尾概率值,所以每個尾部的貢獻都嚴格較小。整個證明沒有用到正態近似,也沒有對 n n n 或 p p p 加任何條件。
在此,「精確」表示方法使用精確二項概率,因此水平有保證;它不表示覆蓋率等於 1 − α 1-\alpha 1 − α 。由於離散性,覆蓋率通常超過標稱水平,所以方法是保守的。
計算端點無須特殊函數軟件。G G G 和 H H H 都是明確且嚴格單調的多項式,因此在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上使用二分法會收斂至唯一的根。數值求解器在某個容許誤差 ε \varepsilon ε 停止,故報告的端點只能精確至 ε \varepsilon ε 。為保留保證,應把下端點向下、上端點向上取整。
詳解比較
取 n = 10 n = 10 n = 10 、k = 0 k = 0 k = 0 、α = 0.05 \alpha = 0.05 α = 0.05 和 z = 1.95996398454 z = 1.95996398454 z = 1.95996398454 ,故 z 2 ≈ 3.84145882 z^2 \approx 3.84145882 z 2 ≈ 3.84145882 。假設十個保留負例沒有產生假陽性。
精確區間。 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 。U ( 0 ) U(0) U ( 0 ) 滿足 P p ( S ≤ 0 ) = ( 1 − p ) 10 = 0.025 P_p(S \le 0) = (1-p)^{10} = 0.025 P p ( S ≤ 0 ) = ( 1 − p ) 10 = 0.025 ,故 U ( 0 ) = 1 − 0.025 1 / 10 U(0) = 1 - 0.025^{1/10} U ( 0 ) = 1 − 0.02 5 1/10 。由於 ln 0.025 ≈ − 3.688879 \ln 0.025 \approx -3.688879 ln 0.025 ≈ − 3.688879 ,得 0.025 1 / 10 = e − 0.3688879 ≈ 0.691503 0.025^{1/10} = e^{-0.3688879} \approx 0.691503 0.02 5 1/10 = e − 0.3688879 ≈ 0.691503 。區間為 [ 0 , 0.3085 ] [0,\, 0.3085] [ 0 , 0.3085 ] 。
Wilson 區間。 [ 0 , z 2 / ( n + z 2 ) ] = [ 0 , 3.84145882 / 13.84145882 ] ≈ [ 0 , 0.2775 ] [0,\, z^2/(n+z^2)] = [0,\, 3.84145882/13.84145882] \approx [0,\, 0.2775] [ 0 , z 2 / ( n + z 2 )] = [ 0 , 3.84145882/13.84145882 ] ≈ [ 0 , 0.2775 ] 。
Wald 區間。 [ 0 , 0 ] [0, 0] [ 0 , 0 ] 。
三種方法給出不同答案。Wilson 和精確區間都顯示,約達 28–31% 的假陽性率與這些數據相容。Wald 區間暗示比率恰為零,這反映方法失效,而不能由此推斷分類器的真實比率。這些區間都沒有給 p p p 賦予概率陳述:每個都是算出的數值集合,而精確或近似的保證屬於產生它的方法。保證也依賴二項模型正確。
由對稱變換 S ↦ n − S S \mapsto n - S S ↦ n − S ,k = n k = n k = n 時精確下端點 L ( n ) = 0.025 1 / n L(n) = 0.025^{1/n} L ( n ) = 0.02 5 1/ n ,此處約為 0.6915 0.6915 0.6915 ;Wilson 下端點為 n / ( n + z 2 ) ≈ 0.7225 n/(n+z^2) \approx 0.7225 n / ( n + z 2 ) ≈ 0.7225 。
取 n = 4 n = 4 n = 4 、k = 2 k = 2 k = 2 。則
P p ( S ≥ 2 ) = 1 − ( 1 − p ) 4 − 4 p ( 1 − p ) 3 = 6 p 2 − 8 p 3 + 3 p 4 . P_p(S \ge 2) = 1 - (1-p)^4 - 4p(1-p)^3 = 6p^2 - 8p^3 + 3p^4 . P p ( S ≥ 2 ) = 1 − ( 1 − p ) 4 − 4 p ( 1 − p ) 3 = 6 p 2 − 8 p 3 + 3 p 4 . 因此 L ( 2 ) L(2) L ( 2 ) 是 ( 0 , 1 ) (0,1) ( 0 , 1 ) 內方程 6 p 2 − 8 p 3 + 3 p 4 = 0.025 6p^2 - 8p^3 + 3p^4 = 0.025 6 p 2 − 8 p 3 + 3 p 4 = 0.025 的解。左式遞增,因為其導數為 12 p ( 1 − p ) 2 > 0 12p(1-p)^2 \gt 0 12 p ( 1 − p ) 2 > 0 。當 p = 0.0676 p = 0.0676 p = 0.0676 時,左式約為 0.025010 0.025010 0.025010 ,稍大。以導數約 0.7052 0.7052 0.7052 進行一次牛頓(Newton)法迭代,得 L ( 2 ) ≈ 0.06759 L(2) \approx 0.06759 L ( 2 ) ≈ 0.06759 ;在此值代入多項式,結果到小數點後六位為 0.025000 0.025000 0.025000 。
對上端點,若 S ∼ Bin ( 4 , p ) S \sim \text{Bin}(4,p) S ∼ Bin ( 4 , p ) ,則 4 − S ∼ Bin ( 4 , 1 − p ) 4 - S \sim \text{Bin}(4, 1-p) 4 − S ∼ Bin ( 4 , 1 − p ) 。因此 P p ( S ≤ 2 ) = P 1 − p ( S ≥ 2 ) P_p(S \le 2) = P_{1-p}(S \ge 2) P p ( S ≤ 2 ) = P 1 − p ( S ≥ 2 ) ,而 U ( 2 ) = 1 − L ( 2 ) ≈ 0.93241 U(2) = 1 - L(2) \approx 0.93241 U ( 2 ) = 1 − L ( 2 ) ≈ 0.93241 。
比較之下,Wilson 區間以 0.5 0.5 0.5 為中心,半寬約為 0.3500 0.3500 0.3500 ,得到 [ 0.1500 , 0.8500 ] [0.1500,\, 0.8500] [ 0.1500 , 0.8500 ] ;Wald 區間為 0.5 ± 0.4900 = [ 0.0100 , 0.9900 ] 0.5 \pm 0.4900 = [0.0100,\, 0.9900] 0.5 ± 0.4900 = [ 0.0100 , 0.9900 ] 。在這個例子中 Wald 區間比精確區間更寬 ,所以單憑寬度不能判斷方法的覆蓋率是否校準。
取 n = 10 n = 10 n = 10 、k = 1 k = 1 k = 1 ,故 p ^ = 0.1 \hat p = 0.1 p ^ = 0.1 ,並取 α = 0.05 \alpha = 0.05 α = 0.05 、z 2 ≈ 3.84146 z^2 \approx 3.84146 z 2 ≈ 3.84146 。
Wald 區間。 半寬為 1.95996 0.09 / 10 ≈ 0.1859 1.95996\sqrt{0.09/10} \approx 0.1859 1.95996 0.09/10 ≈ 0.1859 ,故區間為 [ − 0.0859 , 0.2859 ] [-0.0859,\, 0.2859] [ − 0.0859 , 0.2859 ] ,下端點為負。
Wilson 區間。 此時 z 2 / n ≈ 0.384146 z^2/n \approx 0.384146 z 2 / n ≈ 0.384146 ,故 c = ( 0.1 + 0.192073 ) / 1.384146 ≈ 0.2110 c = (0.1 + 0.192073)/1.384146 \approx 0.2110 c = ( 0.1 + 0.192073 ) /1.384146 ≈ 0.2110 ,且
h = 1.95996 0.009 + 0.0096037 1.384146 ≈ 1.95996 × 0.136395 1.384146 ≈ 0.1931. h = \frac{1.95996\sqrt{0.009 + 0.0096037}}{1.384146} \approx \frac{1.95996 \times 0.136395}{1.384146} \approx 0.1931 . h = 1.384146 1.95996 0.009 + 0.0096037 ≈ 1.384146 1.95996 × 0.136395 ≈ 0.1931. 區間為 [ 0.0179 , 0.4042 ] [0.0179,\, 0.4042] [ 0.0179 , 0.4042 ] 。正如 Wilson 定理所保證,它位於 [ 0 , 1 ] [0,1] [ 0 , 1 ] 內,而且中心不在 p ^ \hat p p ^ 。
精確區間。 L ( 1 ) L(1) L ( 1 ) 滿足 P p ( S ≥ 1 ) = 1 − ( 1 − p ) 10 = 0.025 P_p(S \ge 1) = 1 - (1-p)^{10} = 0.025 P p ( S ≥ 1 ) = 1 − ( 1 − p ) 10 = 0.025 ,故 L ( 1 ) = 1 − 0.975 1 / 10 L(1) = 1 - 0.975^{1/10} L ( 1 ) = 1 − 0.97 5 1/10 。由於 ln 0.975 ≈ − 0.0253178 \ln 0.975 \approx -0.0253178 ln 0.975 ≈ − 0.0253178 ,得 0.975 1 / 10 = e − 0.00253178 ≈ 0.997471 0.975^{1/10} = e^{-0.00253178} \approx 0.997471 0.97 5 1/10 = e − 0.00253178 ≈ 0.997471 ,L ( 1 ) ≈ 0.00253 L(1) \approx 0.00253 L ( 1 ) ≈ 0.00253 。U ( 1 ) U(1) U ( 1 ) 滿足 P p ( S ≤ 1 ) = ( 1 − p ) 9 ( 1 + 9 p ) = 0.025 P_p(S \le 1) = (1-p)^{9}(1+9p) = 0.025 P p ( S ≤ 1 ) = ( 1 − p ) 9 ( 1 + 9 p ) = 0.025 ,沒有閉式解;二分法給出 U ( 1 ) ≈ 0.4450 U(1) \approx 0.4450 U ( 1 ) ≈ 0.4450 。核對:在 p = 0.445 p = 0.445 p = 0.445 ,( 0.555 ) 9 × 5.005 ≈ 0.02501 (0.555)^9 \times 5.005 \approx 0.02501 ( 0.555 ) 9 × 5.005 ≈ 0.02501 。
精確區間 [ 0.0025 , 0.4450 ] [0.0025,\, 0.4450] [ 0.0025 , 0.4450 ] 是三者中最寬的。它的下端點很小,因為即使 p p p 很小,十次試驗中出現一次事件也並不罕見:在 p = 0.00253 p = 0.00253 p = 0.00253 時,至少一次事件的概率仍是 0.025 0.025 0.025 。
單側界與多個指標
當 k < n k \lt n k < n 時,單側 1 − α 1-\alpha 1 − α 上界 U 1 ( k ) U_1(k) U 1 ( k ) 滿足 P p ( S ≤ k ) = α P_p(S \le k) = \alpha P p ( S ≤ k ) = α ;設 U 1 ( n ) = 1 U_1(n) = 1 U 1 ( n ) = 1 ,因為當 k = n k = n k = n 時該方程無解。這與雙側區間是不同方法。等尾 1 − α 1-\alpha 1 − α 區間的上端點是一個 1 − α / 2 1-\alpha/2 1 − α /2 上界。若只關心錯誤率的上界,單側方法較合適;應在看數據之前作出這個選擇。
當一次評估計算多個區間時,每個都有自己的邊際保證。覆蓋率定理並不保證它們同時覆蓋。
習題
練習 7.3.10
(取 n = 1 n = 1 n = 1 、α = 0.05 \alpha = 0.05 α = 0.05 ,求 Wald、Wilson 和精確方法的覆蓋率函數。)
基礎
解答 (3) 1 Wald
如上面的反例所示,當 0 < p < 1 0 \lt p \lt 1 0 < p < 1 時 C ( p ) = 0 C(p) = 0 C ( p ) = 0 ;當 p ∈ { 0 , 1 } p \in \{0,1\} p ∈ { 0 , 1 } 時 C ( p ) = 1 C(p) = 1 C ( p ) = 1 。
2 Wilson
關鍵一步
因 z 2 / ( 1 + z 2 ) ≈ 0.7935 z^2/(1+z^2) \approx 0.7935 z 2 / ( 1 + z 2 ) ≈ 0.7935 ,S = 0 S = 0 S = 0 的區間為 [ 0 , 0.7935 ] [0, 0.7935] [ 0 , 0.7935 ] ,S = 1 S = 1 S = 1 的區間為 [ 0.2065 , 1 ] [0.2065, 1] [ 0.2065 , 1 ] 。所以當 p < 0.2065 p \lt 0.2065 p < 0.2065 時 C ( p ) = 1 − p C(p) = 1-p C ( p ) = 1 − p ;在 [ 0.2065 , 0.7935 ] [0.2065, 0.7935] [ 0.2065 , 0.7935 ] 上 C ( p ) = 1 C(p) = 1 C ( p ) = 1 ;當 p > 0.7935 p \gt 0.7935 p > 0.7935 時 C ( p ) = p C(p) = p C ( p ) = p 。在 p = 0.1 p = 0.1 p = 0.1 ,覆蓋率為 0.90 < 0.95 0.90 \lt 0.95 0.90 < 0.95 ,證實 Wilson 只具有近似校準。
依據: S = 0 S=0 S = 0 與 S = 1 S=1 S = 1 的區間分別為 [ 0 , z 2 / ( 1 + z 2 ) ] [0,\,z^2/(1+z^2)] [ 0 , z 2 / ( 1 + z 2 )] 和 [ 1 / ( 1 + z 2 ) , 1 ] [1/(1+z^2),\,1] [ 1/ ( 1 + z 2 ) , 1 ] 。
3 精確方法
U ( 0 ) = 0.975 U(0) = 0.975 U ( 0 ) = 0.975 、L ( 1 ) = 0.025 L(1) = 0.025 L ( 1 ) = 0.025 。因此當 p < 0.025 p \lt 0.025 p < 0.025 時 C ( p ) = 1 − p > 0.975 C(p) = 1-p \gt 0.975 C ( p ) = 1 − p > 0.975 ;在 [ 0.025 , 0.975 ] [0.025, 0.975] [ 0.025 , 0.975 ] 上 C ( p ) = 1 C(p) = 1 C ( p ) = 1 ;更大時 C ( p ) = p > 0.975 C(p) = p \gt 0.975 C ( p ) = p > 0.975 。所有值都超過 0.95 0.95 0.95 。
看下一步 (2/3) 全部展開
練習 7.3.11
(推導 k = 0 k = 0 k = 0 和 k = n k = n k = n 時精確端點的閉式。取 n = 30 n = 30 n = 30 、α = 0.05 \alpha = 0.05 α = 0.05 計算,並與 k = 0 k = 0 k = 0 時的單側 95% 上界比較。)
核心
解答 (4) 1 閉式
當 k = 0 k = 0 k = 0 :P p ( S ≤ 0 ) = ( 1 − p ) n = α / 2 P_p(S \le 0) = (1-p)^n = \alpha/2 P p ( S ≤ 0 ) = ( 1 − p ) n = α /2 ,故 U ( 0 ) = 1 − ( α / 2 ) 1 / n U(0) = 1 - (\alpha/2)^{1/n} U ( 0 ) = 1 − ( α /2 ) 1/ n 且 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 。當 k = n k = n k = n :P p ( S ≥ n ) = p n = α / 2 P_p(S \ge n) = p^n = \alpha/2 P p ( S ≥ n ) = p n = α /2 ,故 L ( n ) = ( α / 2 ) 1 / n L(n) = (\alpha/2)^{1/n} L ( n ) = ( α /2 ) 1/ n 且 U ( n ) = 1 U(n) = 1 U ( n ) = 1 。
2 代入 n = 30 n=30 n = 30
( 0.025 ) 1 / 30 = e − 3.688879 / 30 = e − 0.122963 ≈ 0.884297 (0.025)^{1/30} = e^{-3.688879/30} = e^{-0.122963} \approx 0.884297 ( 0.025 ) 1/30 = e − 3.688879/30 = e − 0.122963 ≈ 0.884297 。所以 k = 0 k = 0 k = 0 時區間為 [ 0 , 0.1157 ] [0, 0.1157] [ 0 , 0.1157 ] ,而 k = 30 k = 30 k = 30 時為 [ 0.8843 , 1 ] [0.8843, 1] [ 0.8843 , 1 ] 。
3 單側上界
單側上界滿足 ( 1 − p ) 30 = 0.05 (1-p)^{30} = 0.05 ( 1 − p ) 30 = 0.05 ,故 U 1 = 1 − 0.05 1 / 30 = 1 − e − 0.099858 ≈ 0.0950 U_1 = 1 - 0.05^{1/30} = 1 - e^{-0.099858} \approx 0.0950 U 1 = 1 − 0.0 5 1/30 = 1 − e − 0.099858 ≈ 0.0950 。它比 0.1157 0.1157 0.1157 小,因為全部 α \alpha α 都放在一個尾部。
4 核對
對 x ≥ 0 x \ge 0 x ≥ 0 ,有 1 − e − x ≤ x 1 - e^{-x} \le x 1 − e − x ≤ x ,所以 U 1 ≤ ln ( 20 ) / 30 ≈ 0.0999 U_1 \le \ln(20)/30 \approx 0.0999 U 1 ≤ ln ( 20 ) /30 ≈ 0.0999 ;算出的值滿足此不等式。
看下一步 (2/4) 全部展開
練習 7.3.12
(證明對每個 k k k ,Wilson 區間的寬度至多為 z / n + z 2 z/\sqrt{n+z^2} z / n + z 2 。求在 α = 0.05 \alpha = 0.05 α = 0.05 時保證寬度至多為 0.1 0.1 0.1 的最小 n n n ,並與 Wald 的相應計算比較。)
核心
解答 (3) 1 控制寬度
寬度為 2 h 2h 2 h 。代入 1 / 4 1/4 1/4 得
2 h ≤ 2 z 1 4 n + z 2 4 n 2 n + z 2 n = z n + z 2 / n ( n + z 2 ) / n = z n + z 2 , 2h \le \frac{2z\sqrt{\frac{1}{4n} + \frac{z^2}{4n^2}}}{\frac{n+z^2}{n}} = \frac{z\sqrt{n+z^2}/n}{(n+z^2)/n} = \frac{z}{\sqrt{n+z^2}}, 2 h ≤ n n + z 2 2 z 4 n 1 + 4 n 2 z 2 = ( n + z 2 ) / n z n + z 2 / n = n + z 2 z , 在 p ^ = 1 / 2 \hat p = 1/2 p ^ = 1/2 時取等號。
依據: h h h 隨 p ^ ( 1 − p ^ ) \hat p(1-\hat p) p ^ ( 1 − p ^ ) 增大,而後者至多為 1 / 4 1/4 1/4 。
2 最小的充分 n n n
要求 z / n + z 2 ≤ 0.1 z/\sqrt{n+z^2} \le 0.1 z / n + z 2 ≤ 0.1 ,得 n ≥ z 2 / 0.01 − z 2 = 384.146 − 3.841 = 380.30 n \ge z^2/0.01 - z^2 = 384.146 - 3.841 = 380.30 n ≥ z 2 /0.01 − z 2 = 384.146 − 3.841 = 380.30 ,所以 n = 381 n = 381 n = 381 。核對:1.95996 / 384.84 ≈ 0.09991 1.95996/\sqrt{384.84} \approx 0.09991 1.95996/ 384.84 ≈ 0.09991 ,而 n = 380 n = 380 n = 380 時約為 0.10004 0.10004 0.10004 。
3 與 Wald 比較
這個界對每個可能的 k k k 都成立,所以它是關於寬度的確定性陳述,沒有說明覆蓋率。Wald 的最壞情況 z / n ≤ 0.1 z/\sqrt n \le 0.1 z / n ≤ 0.1 要求 n ≥ 385 n \ge 385 n ≥ 385 。在 k = 0 k = 0 k = 0 時,Wilson 寬度 z 2 / ( n + z 2 ) z^2/(n+z^2) z 2 / ( n + z 2 ) 以 1 / n 1/n 1/ n 的速度收縮,比最壞情況的 1 / n 1/\sqrt n 1/ n 快得多。
看下一步 (2/3) 全部展開
練習 7.3.13
(固定分類器的選取獨立於測試數據,並以一個獨立同分布的已標記個案測試樣本評估它;每個個案亦有預先指定的子組指示變量。報告給出敏感度(在正例中)、特異度(在負例中)及該子組錯誤率的精確 95% 區間。相關總體概率均為正。若某指標在樣本中沒有合資格個案,便為它報告 [ 0 , 1 ] [0,1] [ 0 , 1 ] 。有甚麼保證?)
綜合
解答 (4) 1 對每個指標分別建立二項模型
對每個指標分別以哪些個案符合該指標資格為條件。由獨立同分布抽樣,這些個案的結果是獨立 Bernoulli 變量,具有該指標的共同總體比率;例如正例有相同的邊際敏感度。分析整體敏感度時,不要額外以子組成員身份為條件:各子組表現可能不同。
依據: 此二項模型來自獨立同分布抽樣和固定分類器,單靠獨立性不足以得出。
2 每個區間的無條件覆蓋率
給定合資格個案數為正時,精確尾概率反演的條件覆蓋率至少為 0.95 0.95 0.95 ;數目為零時,[ 0 , 1 ] [0,1] [ 0 , 1 ] 必定覆蓋。對該指標各種資格組合取平均,得到每個區間的無條件覆蓋率至少為 0.95 0.95 0.95 。
3 同時覆蓋
關鍵一步
每個區間的失覆蓋概率至多為 0.05 0.05 0.05 ,所以三者同時覆蓋的概率至少為 1 − 3 ( 0.05 ) = 0.85 1 - 3(0.05) = 0.85 1 − 3 ( 0.05 ) = 0.85 。不能直接使用 0.95 3 0.95^3 0.9 5 3 ,因為這些區間不一定獨立。若要家族層面的水平達到 0.95 0.95 0.95 ,可為每個指標使用水平 1 − 0.05 / 3 1 - 0.05/3 1 − 0.05/3 的精確區間。
依據: 對三個失覆蓋事件使用聯合界。
4 95% 不是甚麼
令 N N N 為三個區間中覆蓋其目標的數目。由期望的線性性,E [ N / 3 ] ≥ 0.95 E[N/3] \ge 0.95 E [ N /3 ] ≥ 0.95 ,但實際比例只可能是 0 , 1 / 3 , 2 / 3 0, 1/3, 2/3 0 , 1/3 , 2/3 或 1 1 1 。因此 95% 並不是這份報告中正確區間的比例。它也與盛行率無關:類別比例是另一個參數,需要自己的區間。
看下一步 (2/4) 全部展開
總結
Wald 區間把 p ^ \hat p p ^ 代入方差;它在 k = 0 k = 0 k = 0 和 k = n k = n k = n 時收縮為單點,覆蓋率可能任意差。Wilson 區間透過求解二次不等式反演得分檢定;其端點必定在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 內,但校準只是近似的。精確尾概率反演保證在每個 p p p 的覆蓋率至少為 1 − α 1-\alpha 1 − α ,代價是離散性造成的保守性。三種方法的覆蓋性質都關乎指定模型下的重複抽樣,每次只適用於一個區間,並依賴支持二項模型的獨立性和共同事件概率假設。