数据分析中许多报告的量都是比例,例如分类器把留出的阴性样本误判为阳性的比例、检测出的阳性样本比例,以及交易失败的比例。像 p ^ = 0 / 10 \hat p = 0/10 p ^ = 0/10 这样的单个数字,并不能反映我们对真实发生率掌握得有多准确。本节研究二项比例的三种区间构造方法,说明各自能保证什么、不能保证什么,以及为何最熟悉的公式在最需要区间估计的情况下并不可靠。
模型与覆盖率的含义
设 X 1 , … , X n X_1,\dots,X_n X 1 , … , X n 是相互独立的 Bernoulli(p p p ) 随机变量,样本量 n ≥ 1 n \ge 1 n ≥ 1 固定,而 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] 未知。计数 S = ∑ i = 1 n X i S = \sum\limits_{i=1}^n X_i S = i = 1 ∑ n X i 服从二项分布:
P p ( S = j ) = ( n j ) p j ( 1 − p ) n − j , j = 0 , 1 , … , n . P_p(S = j) = \binom{n}{j} p^j (1-p)^{n-j}, \qquad j = 0,1,\dots,n. P p ( S = j ) = ( j n ) p j ( 1 − p ) n − j , j = 0 , 1 , … , n .
当 p = 0 p = 0 p = 0 或 p = 1 p = 1 p = 1 时,按连续性解释公式(等价地,取 0 0 = 1 0^0 = 1 0 0 = 1 )。观察到 S = k S = k S = k 后,记 p ^ = k / n \hat p = k/n p ^ = k / n 。固定 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) 。
这个模型的假设需要检验,不能直接视为成立。例如,多张测试图像来自同一位病人时,独立性可能不成立。如果研究对象是一个固定集合,且各对象的事件概率不同,共同的 p p p 也不成立;此时计数服从泊松(Poisson)二项分布,而非二项分布。如果对象是从总体中独立抽取的,即使总体内部存在差异,每个 X i X_i X i 仍以总体发生率为参数服从伯努利(Bernoulli)分布。因此,异质性本身不一定有问题,但抽样设计必须能支持模型。在分类问题中,p p p 可以是固定分类器的假阳性率,即随机抽取一个阴性个体时被判为阳性的概率。
定义 7.3.1
(置信区间构造方法、覆盖率与置信水平)
一个置信区间构造方法 是定义在 { 0 , … , n } \{0,\dots,n\} { 0 , … , n } 上的一对函数 ℓ , u \ell,u ℓ , u 。它在 p p p 处的覆盖率 为
C ( p ) = P p ( ℓ ( S ) ≤ p ≤ u ( S ) ) . C(p) = P_p\big(\ell(S) \le p \le u(S)\big). C ( p ) = P p ( ℓ ( S ) ≤ p ≤ u ( S ) ) . 如果对每个 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] 都有 C ( p ) ≥ 1 − α C(p) \ge 1-\alpha C ( p ) ≥ 1 − α ,就说该方法的置信水平 为 1 − α 1-\alpha 1 − α 。
在这个概率中,p p p 固定,而端点因为 S S S 随机而随机。一旦观察到 k k k ,区间 [ ℓ ( k ) , u ( k ) ] [\ell(k),u(k)] [ ℓ ( k ) , u ( k )] 就是一个固定的数集,它要么包含 p p p ,要么不包含。
说“p p p 有 95% 的概率落在 [ 0 , 0.31 ] [0,0.31] [ 0 , 0.31 ] 中”相当于给 p p p 指定了概率分布,而这里的框架并没有这样做。95% 描述的是按照模型重复抽样时,构造方法的长期表现;算出的区间 [ 0 , 0.31 ] [0,0.31] [ 0 , 0.31 ] 要么包含固定的数 p p p ,要么不包含。
从正态均值区间到二项比例
若 Y 1 , … , Y n Y_1,\dots,Y_n Y 1 , … , Y n 相互独立且服从 N ( μ , σ 2 ) N(\mu,\sigma^2) N ( μ , σ 2 ) ,其中 σ \sigma σ 已知,那么 ( Y ˉ − μ ) / ( σ / n ) (\bar Y - \mu)/(\sigma/\sqrt n) ( Y ˉ − μ ) / ( σ / n ) 恰好服从标准正态分布。令 z = Φ − 1 ( 1 − α / 2 ) > 0 z = \Phi^{-1}(1-\alpha/2) > 0 z = Φ − 1 ( 1 − α /2 ) > 0 ,则 Y ˉ ± z σ / n \bar Y \pm z\sigma/\sqrt n Y ˉ ± z σ / n 的覆盖率恰为 1 − α 1-\alpha 1 − α 。
对于伯努利数据,p ^ = X ˉ \hat p = \bar X p ^ = X ˉ 的均值为 p p p ,方差为 p ( 1 − p ) / n p(1-p)/n p ( 1 − p ) / n 。中心极限定理表明,当 0 < p < 1 0 \lt p \lt 1 0 < p < 1 且 n n n 很大时,
p ^ − p p ( 1 − p ) / n ≈ N ( 0 , 1 ) . \frac{\hat p - p}{\sqrt{p(1-p)/n}} \approx N(0,1). p ( 1 − p ) / n p ^ − p ≈ N ( 0 , 1 ) .
这里与正态情形有两点重要区别:方差依赖于未知的 p p p ;而且 S S S 是离散的,因此正态近似并不精确。处理未知方差有两种自然办法。用 p ^ \hat p p ^ 代替方差中的 p p p ,得到 Wald 区间;保留方差中的 p p p ,再解出满足条件的 p p p 的集合,得到 Wilson 区间。
Wald 区间及其边界失效
取 z = Φ − 1 ( 1 − α / 2 ) z = \Phi^{-1}(1-\alpha/2) z = Φ − 1 ( 1 − α /2 ) ,p p p 的 Wald 区间 为
p ^ ± z p ^ ( 1 − p ^ ) n . \hat p \pm z\sqrt{\frac{\hat p(1-\hat p)}{n}}. p ^ ± z n p ^ ( 1 − p ^ ) .
当 k = 0 k = 0 k = 0 或 k = n k = n k = n 时,估计标准误为 0 0 0 ,区间退化为单点 { 0 } \{0\} { 0 } 或 { 1 } \{1\} { 1 } 。估计 标准误为零,并不说明不确定性为零;这只是代入公式在 p ^ \hat p p ^ 的边界值处无法表达不确定性。Wald 区间也可能超出 [ 0 , 1 ] [0,1] [ 0 , 1 ] 。例如 n = 10 n = 10 n = 10 、k = 1 k = 1 k = 1 时,半宽为 1.95996 0.09 / 10 ≈ 0.1859 1.95996\sqrt{0.09/10} \approx 0.1859 1.95996 0.09/10 ≈ 0.1859 ,下端点约为 − 0.0859 -0.0859 − 0.0859 。
常见错误
(把 Wald 区间截到 [ 0 , 1 ] [0,1] [ 0 , 1 ] )
把 Wald 区间与 [ 0 , 1 ] [0,1] [ 0 , 1 ] 取交集可以去除不可能的值,容易让人以为方法已经修好。实际上它完全不改变覆盖率:对每个 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] 和每个区间 I I I ,p ∈ I p \in I p ∈ I 恰在 p ∈ I ∩ [ 0 , 1 ] p \in I\cap[0,1] p ∈ I ∩ [ 0 , 1 ] 时成立,所以截断后的方法与原方法的覆盖率函数 C ( p ) C(p) C ( p ) 完全相同。校准问题丝毫未变。
反例模式
Wald 覆盖率可以为零 取 n = 1 n = 1 n = 1 。若 S = 0 S = 0 S = 0 ,Wald 区间为 [ 0 , 0 ] [0,0] [ 0 , 0 ] ;若 S = 1 S = 1 S = 1 ,则为 [ 1 , 1 ] [1,1] [ 1 , 1 ] 。对于任意 0 < p < 1 0 \lt p \lt 1 0 < p < 1 ,这两个区间都不包含 p p p ,所以 C ( p ) = 0 C(p) = 0 C ( p ) = 0 。对每个 α \alpha α ,该方法的名义水平都是“1 − α 1-\alpha 1 − α ”(特别地,α = 0.05 \alpha = 0.05 α = 0.05 时为 95%),但在每个内部参数值处覆盖率都是 0 0 0 ;只有 p = 0 p = 0 p = 0 或 p = 1 p = 1 p = 1 时覆盖率才为 1 1 1 。样本较大时问题不那么极端,但只要 n p np n p 较小,边界附近仍会出现这一缺陷。
Wilson 得分区间
得分方法保留零假设下的方差。对 0 < p < 1 0 \lt p \lt 1 0 < p < 1 ,保留满足下式的 p p p :
∣ p ^ − p ∣ ≤ z p ( 1 − p ) n . |\hat p - p| \le z\sqrt{\frac{p(1-p)}{n}}. ∣ p ^ − p ∣ ≤ z n p ( 1 − p ) .
当 p = 0 p = 0 p = 0 或 p = 1 p = 1 p = 1 时,标准化统计量没有定义。例如 p ^ = 0 \hat p = 0 p ^ = 0 且 p = 0 p = 0 p = 0 时会出现 0 / 0 0/0 0/0 。为避免除法,用平方形式定义保留集合:
A ( p ^ ) = { p ∈ [ 0 , 1 ] : ( p ^ − p ) 2 ≤ z 2 n p ( 1 − p ) } . A(\hat p) = \Big\{p \in [0,1] : (\hat p - p)^2 \le \tfrac{z^2}{n}\,p(1-p)\Big\}. A ( p ^ ) = { p ∈ [ 0 , 1 ] : ( p ^ − p ) 2 ≤ n z 2 p ( 1 − p ) } .
在区间内部两种条件等价。当 p = 0 p = 0 p = 0 时,平方条件变为 p ^ 2 ≤ 0 \hat p^2 \le 0 p ^ 2 ≤ 0 ,所以恰在 k = 0 k = 0 k = 0 时保留 0 0 0 ;这与内部集合在 p ↓ 0 p \downarrow 0 p ↓ 0 时的极限一致。
对于每个 k ∈ { 0 , … , n } k \in \{0,\dots,n\} k ∈ { 0 , … , n } ,集合 A ( p ^ ) A(\hat p) A ( p ^ ) 是一个闭区间,其中心和半宽为
c = p ^ + z 2 2 n 1 + z 2 n , h = z p ^ ( 1 − p ^ ) n + z 2 4 n 2 1 + z 2 n . c = \frac{\hat p + \dfrac{z^2}{2n}}{1 + \dfrac{z^2}{n}}, \qquad
h = \frac{z\sqrt{\dfrac{\hat p(1-\hat p)}{n} + \dfrac{z^2}{4n^2}}}{1 + \dfrac{z^2}{n}}. c = 1 + n z 2 p ^ + 2 n z 2 , h = 1 + n z 2 z n p ^ ( 1 − p ^ ) + 4 n 2 z 2 . 两个端点 c ± h c \pm h c ± h 都在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 中。下端点恰在 k = 0 k = 0 k = 0 时为 0 0 0 ;上端点恰在 k = n k = n k = n 时为 1 1 1 。
展开 ( p ^ − p ) 2 ≤ z 2 n p ( 1 − p ) (\hat p - p)^2 \le \frac{z^2}{n}p(1-p) ( p ^ − p ) 2 ≤ n z 2 p ( 1 − p ) 并合并各项,得到 Q ( p ) ≤ 0 Q(p) \le 0 Q ( p ) ≤ 0 ,其中
Q ( p ) = ( 1 + z 2 n ) p 2 − ( 2 p ^ + z 2 n ) p + p ^ 2 . Q(p) = \Big(1 + \tfrac{z^2}{n}\Big)p^2 - \Big(2\hat p + \tfrac{z^2}{n}\Big)p + \hat p^2 . Q ( p ) = ( 1 + n z 2 ) p 2 − ( 2 p ^ + n z 2 ) p + p ^ 2 . 判别式为
( 2 p ^ + z 2 n ) 2 − 4 ( 1 + z 2 n ) p ^ 2 = 4 z 2 n p ^ ( 1 − p ^ ) + z 4 n 2 > 0 , \Big(2\hat p + \tfrac{z^2}{n}\Big)^2 - 4\Big(1+\tfrac{z^2}{n}\Big)\hat p^2
= \tfrac{4z^2}{n}\hat p(1-\hat p) + \tfrac{z^4}{n^2} \gt 0, ( 2 p ^ + n z 2 ) 2 − 4 ( 1 + n z 2 ) p ^ 2 = n 4 z 2 p ^ ( 1 − p ^ ) + n 2 z 4 > 0 , 因此 Q Q Q 有两个不同的实根 r 1 < r 2 r_1 \lt r_2 r 1 < r 2 。由于二次项系数为正,Q ≤ 0 Q \le 0 Q ≤ 0 恰在 [ r 1 , r 2 ] [r_1,r_2] [ r 1 , r 2 ] 上成立。求根公式给出 c ± h c \pm h c ± h ,其中 c , h c,h c , h 如定理所述;判别式开方带来的因子 2 2 2 与分母中的 2 2 2 抵消。
为证明根在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 中,计算端点处的值:
Q ( 0 ) = p ^ 2 ≥ 0 , Q ( 1 ) = 1 + z 2 n − 2 p ^ − z 2 n + p ^ 2 = ( 1 − p ^ ) 2 ≥ 0. Q(0) = \hat p^2 \ge 0, \qquad Q(1) = 1 + \tfrac{z^2}{n} - 2\hat p - \tfrac{z^2}{n} + \hat p^2 = (1-\hat p)^2 \ge 0. Q ( 0 ) = p ^ 2 ≥ 0 , Q ( 1 ) = 1 + n z 2 − 2 p ^ − n z 2 + p ^ 2 = ( 1 − p ^ ) 2 ≥ 0. 顶点 c c c 严格位于 ( 0 , 1 ) (0,1) ( 0 , 1 ) 内:显然 c > 0 c \gt 0 c > 0 ,而 c < 1 c \lt 1 c < 1 等价于恒成立的 p ^ < 1 + z 2 / ( 2 n ) \hat p \lt 1 + z^2/(2n) p ^ < 1 + z 2 / ( 2 n ) 。因为 c ∈ ( r 1 , r 2 ) c \in (r_1,r_2) c ∈ ( r 1 , r 2 ) 且 0 < c 0 \lt c 0 < c ,当 Q ( 0 ) > 0 Q(0) \gt 0 Q ( 0 ) > 0 时,0 0 0 位于 [ r 1 , r 2 ] [r_1,r_2] [ r 1 , r 2 ] 左侧;当 Q ( 0 ) = 0 Q(0) = 0 Q ( 0 ) = 0 时,0 = r 1 0 = r_1 0 = r 1 。因此 r 1 ≥ 0 r_1 \ge 0 r 1 ≥ 0 ,且恰在 p ^ = 0 \hat p = 0 p ^ = 0 时等号成立。同理,在 1 1 1 处可得 r 2 ≤ 1 r_2 \le 1 r 2 ≤ 1 ,且恰在 p ^ = 1 \hat p = 1 p ^ = 1 时等号成立。
当 k = 0 k = 0 k = 0 时,公式化为 c = h = z 2 / ( 2 ( n + z 2 ) ) c = h = z^2/(2(n+z^2)) c = h = z 2 / ( 2 ( n + z 2 )) ,所以区间为 [ 0 , z 2 / ( n + z 2 ) ] [0,\, z^2/(n+z^2)] [ 0 , z 2 / ( n + z 2 )] 。由对称变换 p ^ ↦ 1 − p ^ \hat p \mapsto 1-\hat p p ^ ↦ 1 − p ^ ,k = n k = n k = n 时的区间为 [ n / ( n + z 2 ) , 1 ] [n/(n+z^2),\, 1] [ n / ( n + z 2 ) , 1 ] 。
这个证明表明无须为了统计意义而截断端点。如果浮点计算在 k = 0 k = 0 k = 0 时得到下端点 − 10 − 17 -10^{-17} − 1 0 − 17 ,将它替换为 0 0 0 只是修正舍入误差。
Wilson 区间反演的是一个近似 校准的检验。对于有限的 n n n ,其覆盖率并不保证始终不低于 1 − α 1-\alpha 1 − α 。由于 S S S 只取 n + 1 n+1 n + 1 个值,p p p 穿过某个端点时覆盖率会跳变。计数较小时,在某些 p p p 值处覆盖率可能明显低于名义水平,下面第一道练习将展示这一点。
精确等尾概率反演
为了获得有保证的水平,可以用二项分布的尾概率本身代替正态近似。
令 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 。对 1 ≤ k ≤ n 1 \le k \le n 1 ≤ k ≤ n ,令 L ( k ) L(k) L ( k ) 为满足 P p ( S ≥ k ) = α / 2 P_p(S \ge k) = \alpha/2 P p ( S ≥ k ) = α /2 的唯一 p ∈ ( 0 , 1 ) p \in (0,1) p ∈ ( 0 , 1 ) 。令 U ( n ) = 1 U(n) = 1 U ( n ) = 1 。对 0 ≤ k ≤ n − 1 0 \le k \le n-1 0 ≤ k ≤ n − 1 ,令 U ( k ) U(k) U ( k ) 为满足 P p ( S ≤ k ) = α / 2 P_p(S \le k) = \alpha/2 P p ( S ≤ k ) = α /2 的唯一 p ∈ ( 0 , 1 ) p \in (0,1) p ∈ ( 0 , 1 ) 。区间 [ L ( k ) , U ( k ) ] [L(k),U(k)] [ L ( k ) , U ( k )] 通常称为 Clopper–Pearson 区间。
这些根的存在性与唯一性由下一个定理保证。
定理 7.3.5
(二项尾概率对 p p p 严格单调)
对 1 ≤ k ≤ n 1 \le k \le n 1 ≤ k ≤ n ,函数 G ( p ) = P p ( S ≥ k ) G(p) = P_p(S \ge k) G ( p ) = P p ( S ≥ k ) 在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上连续且严格递增,并且 G ( 0 ) = 0 G(0) = 0 G ( 0 ) = 0 、G ( 1 ) = 1 G(1) = 1 G ( 1 ) = 1 。对 0 ≤ k ≤ n − 1 0 \le k \le n-1 0 ≤ k ≤ n − 1 ,函数 H ( p ) = P p ( S ≤ k ) H(p) = P_p(S \le k) H ( p ) = P p ( S ≤ k ) 在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上连续且严格递减,并且 H ( 0 ) = 1 H(0) = 1 H ( 0 ) = 1 、H ( 1 ) = 0 H(1) = 0 H ( 1 ) = 0 。因此 L ( k ) L(k) L ( k ) 和 U ( k ) U(k) U ( k ) 都有良好定义。
两个函数都是 p p p 的多项式,因而连续。令 V 1 , … , V n V_1,\dots,V_n V 1 , … , V n 相互独立且服从 Uniform( 0 , 1 ) (0,1) ( 0 , 1 ) ,定义 S p = ∑ i 1 { V i ≤ p } S_p = \sum\limits_i \mathbf 1\{V_i \le p\} S p = i ∑ 1 { V i ≤ p } 。那么 S p ∼ Bin ( n , p ) S_p \sim \text{Bin}(n,p) S p ∼ Bin ( n , p ) ;当 p < p ′ p \lt p' p < p ′ 时逐点有 S p ≤ S p ′ S_p \le S_{p'} S p ≤ S p ′ ,于是
G ( p ′ ) − G ( p ) = P ( S p ≤ k − 1 , S p ′ ≥ k ) . G(p') - G(p) = P(S_p \le k-1,\; S_{p'} \ge k). G ( p ′ ) − G ( p ) = P ( S p ≤ k − 1 , S p ′ ≥ k ) . 对 0 < p < p ′ < 1 0 \lt p \lt p' \lt 1 0 < p < p ′ < 1 ,考虑事件 V 1 , … , V k ∈ ( p , p ′ ] V_1,\dots,V_k \in (p,p'] V 1 , … , V k ∈ ( p , p ′ ] 且 V k + 1 , … , V n ∈ ( p ′ , 1 ) V_{k+1},\dots,V_n \in (p',1) V k + 1 , … , V n ∈ ( p ′ , 1 ) 。在此事件上,S p = 0 ≤ k − 1 S_p = 0 \le k-1 S p = 0 ≤ k − 1 而 S p ′ = k S_{p'} = k S p ′ = k 。该事件概率为 ( p ′ − p ) k ( 1 − p ′ ) n − k > 0 (p'-p)^k(1-p')^{n-k} \gt 0 ( p ′ − p ) k ( 1 − p ′ ) n − k > 0 ,因此 G G G 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上严格递增。由连续性,它在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上严格递增。
在端点,G ( 0 ) = P 0 ( S ≥ k ) = 0 G(0) = P_0(S \ge k) = 0 G ( 0 ) = P 0 ( S ≥ k ) = 0 ,因为 k ≥ 1 k \ge 1 k ≥ 1 且 S S S 几乎必然为 0 0 0 ;而 G ( 1 ) = 1 G(1) = 1 G ( 1 ) = 1 。由于 0 < α / 2 < 1 0 \lt \alpha/2 \lt 1 0 < α /2 < 1 ,介值定理保证根存在,严格单调性保证唯一,端点值则排除了 p ∈ { 0 , 1 } p \in \{0,1\} p ∈ { 0 , 1 } 。关于 H H H 的结论由 H ( p ) = 1 − P p ( S ≥ k + 1 ) H(p) = 1 - P_p(S \ge k+1) H ( p ) = 1 − P p ( S ≥ k + 1 ) 得出。
区间也不会退化。对 1 ≤ k ≤ n − 1 1 \le k \le n-1 1 ≤ k ≤ n − 1 ,在 p = L ( k ) p = L(k) p = L ( k ) 处有 H ( L ( k ) ) = 1 − P L ( k ) ( S ≥ k + 1 ) ≥ 1 − P L ( k ) ( S ≥ k ) = 1 − α / 2 > α / 2 = H ( U ( k ) ) H(L(k)) = 1 - P_{L(k)}(S \ge k+1) \ge 1 - P_{L(k)}(S \ge k) = 1 - \alpha/2 \gt \alpha/2 = H(U(k)) H ( L ( k )) = 1 − P L ( k ) ( S ≥ k + 1 ) ≥ 1 − P L ( k ) ( S ≥ k ) = 1 − α /2 > α /2 = H ( U ( k )) 。由于 H H H 递减,故 L ( k ) < U ( k ) L(k) \lt U(k) L ( k ) < U ( k ) 。
概念视角 分析
精确端点作为次序统计量的分位数 耦合给出的不只是单调性。在耦合中,S p ≥ k S_p\ge k S p ≥ k 恰好当 V 1 , … , V n V_1,\dots,V_n V 1 , … , V n 中第 k k k 小者不超过 p p p ,所以 G ( p ) = P ( V ( k ) ≤ p ) G(p)=P(V_{(k)}\le p) G ( p ) = P ( V ( k ) ≤ p ) 是该次序统计量的分布函数,而它服从 Beta( k , n − k + 1 ) (k,n-k+1) ( k , n − k + 1 ) 分布。因此 L ( k ) L(k) L ( k ) 是 Beta( k , n − k + 1 ) (k,n-k+1) ( k , n − k + 1 ) 的 α / 2 \alpha/2 α /2 分位数;又因 P p ( S ≤ k ) = P ( V ( k + 1 ) > p ) P_p(S\le k)=P(V_{(k+1)}\gt p) P p ( S ≤ k ) = P ( V ( k + 1 ) > p ) ,U ( k ) U(k) U ( k ) 是 Beta( k + 1 , n − k ) (k+1,n-k) ( k + 1 , n − k ) 的 1 − α / 2 1-\alpha/2 1 − α /2 分位数。当 k = 0 k=0 k = 0 时这就是 1 − ( 1 − p ) n = 1 − α / 2 1-(1-p)^n=1-\alpha/2 1 − ( 1 − p ) n = 1 − α /2 ,与零事件例子一致。
对于每个 p ∈ [ 0 , 1 ] p \in [0,1] p ∈ [ 0 , 1 ] ,都有 P p ( L ( S ) ≤ p ≤ U ( S ) ) ≥ 1 − α P_p\big(L(S) \le p \le U(S)\big) \ge 1-\alpha P p ( L ( S ) ≤ p ≤ U ( S ) ) ≥ 1 − α 。
当 p = 0 p = 0 p = 0 时,S = 0 S = 0 S = 0 几乎必然成立,且 [ L ( 0 ) , U ( 0 ) ] = [ 0 , U ( 0 ) ] [L(0),U(0)] = [0,U(0)] [ L ( 0 ) , U ( 0 )] = [ 0 , U ( 0 )] 包含 0 0 0 。当 p = 1 p = 1 p = 1 时,S = n S = n S = n 几乎必然成立,且 [ L ( n ) , 1 ] [L(n),1] [ L ( n ) , 1 ] 包含 1 1 1 。两种情况下覆盖率均为 1 1 1 。
现在固定 0 < p < 1 0 \lt p \lt 1 0 < p < 1 ,令 g ( j ) = P p ( S ≥ j ) g(j) = P_p(S \ge j) g ( j ) = P p ( S ≥ j ) ,它关于 j j j 非递增。可将 g ( S ) g(S) g ( S ) 看作检验该 p p p 的上尾 p 值。
超均匀性。 对 t ∈ [ 0 , 1 ] t \in [0,1] t ∈ [ 0 , 1 ] ,由于 g g g 非递增,集合 { j : g ( j ) ≤ t } \{j : g(j) \le t\} { j : g ( j ) ≤ t } 不是空集,就是形如 { j ≥ j ∗ } \{j \ge j^*\} { j ≥ j ∗ } 的集合。因此 P p ( g ( S ) ≤ t ) P_p(g(S) \le t) P p ( g ( S ) ≤ t ) 等于 0 0 0 ,或者等于不大于 t t t 的 g ( j ∗ ) g(j^*) g ( j ∗ ) 。两种情况下均有 P p ( g ( S ) ≤ t ) ≤ t P_p(g(S) \le t) \le t P p ( g ( S ) ≤ t ) ≤ t 。
下端点未覆盖。 假设 L ( S ) > p L(S) \gt p L ( S ) > p 。由于 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 ,必有 S ≥ 1 S \ge 1 S ≥ 1 。由尾概率关于 p p p 的严格单调性,g ( S ) = P p ( S ′ ≥ S ) < P L ( S ) ( S ′ ≥ S ) = α / 2 g(S) = P_p(S' \ge S) \lt P_{L(S)}(S' \ge S) = \alpha/2 g ( S ) = P p ( S ′ ≥ S ) < P L ( S ) ( S ′ ≥ S ) = α /2 ,其中 S ′ S' S ′ 是独立的新副本。因此 P p ( L ( S ) > p ) ≤ P p ( g ( S ) ≤ α / 2 ) ≤ α / 2 P_p(L(S) \gt p) \le P_p(g(S) \le \alpha/2) \le \alpha/2 P p ( L ( S ) > p ) ≤ P p ( g ( S ) ≤ α /2 ) ≤ α /2 。
对关于 j j j 非递减的 g ˉ ( j ) = P p ( S ≤ j ) \bar g(j) = P_p(S \le j) g ˉ ( j ) = P p ( S ≤ j ) 作同样论证,得到 P p ( U ( S ) < p ) ≤ α / 2 P_p(U(S) \lt p) \le \alpha/2 P p ( U ( S ) < p ) ≤ α /2 。由并集界,不覆盖的概率至多为 α \alpha α 。
未覆盖条件是不等号严格成立。如果恰好 p = L ( k ) p = L(k) p = L ( k ) ,那么 g ( k ) = α / 2 g(k) = \alpha/2 g ( k ) = α /2 ,闭区间仍包含 p p p 。如果存在满足 g ( j ) < α / 2 g(j) \lt \alpha/2 g ( j ) < α /2 的 j j j ,令 j 0 j_0 j 0 为其中最小者,则 P p ( L ( S ) > p ) = g ( j 0 ) < α / 2 P_p(L(S) \gt p) = g(j_0) \lt \alpha/2 P p ( L ( S ) > p ) = g ( j 0 ) < α /2 。如果不存在这样的 j j j ,未覆盖事件为空,概率为 0 0 0 。所以对于内部的 p p p ,覆盖率实际上严格大于 1 − α 1-\alpha 1 − α ,尽管超出的幅度随 p p p 不规则变化。
证明透视
两种单调性,没有任何近似 覆盖率证明用到两个不同变量上的单调性。g ( j ) = P p ( S ≥ j ) g(j)=P_p(S\ge j) g ( j ) = P p ( S ≥ j ) 关于 j j j 单调,使 p 值 g ( S ) g(S) g ( S ) 超均匀:P p ( g ( S ) ≤ t ) P_p(g(S)\le t) P p ( g ( S ) ≤ t ) 是不超过 t t t 的可取到的尾概率中最大的一个(或为 0 0 0 ),从不超过 t t t 。尾概率关于 p p p 单调,即耦合定理,把端点事件 L ( S ) > p L(S)>p L ( S ) > p 转化为真实 p p p 下的 p 值事件 g ( S ) < α / 2 g(S)<\alpha/2 g ( S ) < α /2 。没有这一联系,L L L 的定义是在参数值 L ( k ) L(k) L ( k ) 处给出的,对 p p p 处的概率就无从谈起。
并集界把两个尾部相加。这里它没有损失,因为 L ( S ) ≤ U ( S ) L(S)\le U(S) L ( S ) ≤ U ( S ) 使事件 L ( S ) > p L(S)>p L ( S ) > p 与 U ( S ) < p U(S)<p U ( S ) < p 互斥。保守性完全来自离散性:α / 2 \alpha/2 α /2 通常不是能取到的尾概率值,所以每个尾部的贡献都严格更小。整个证明没有用到正态近似,也没有对 n n n 或 p p p 加任何条件。
这里“精确”指方法使用精确的二项概率,因此有覆盖水平保证,并不表示覆盖率等于 1 − α 1-\alpha 1 − α 。由于分布离散,覆盖率通常高于名义水平,因此这种方法是保守的。
计算端点无须特殊函数软件。G G G 与 H H H 是明确的严格单调多项式,故在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上使用二分法会收敛到唯一根。求解程序在某个容差 ε \varepsilon ε 处停止,因而报告的端点只在 ε \varepsilon ε 的误差范围内已知。为保留覆盖保证,应将下端点向下、上端点向上取整。
算例比较
取 n = 10 n = 10 n = 10 、k = 0 k = 0 k = 0 、α = 0.05 \alpha = 0.05 α = 0.05 和 z = 1.95996398454 z = 1.95996398454 z = 1.95996398454 ,于是 z 2 ≈ 3.84145882 z^2 \approx 3.84145882 z 2 ≈ 3.84145882 。假设十个留出的阴性样本没有产生假阳性。
精确区间。 L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 。U ( 0 ) U(0) U ( 0 ) 满足 P p ( S ≤ 0 ) = ( 1 − p ) 10 = 0.025 P_p(S \le 0) = (1-p)^{10} = 0.025 P p ( S ≤ 0 ) = ( 1 − p ) 10 = 0.025 ,所以 U ( 0 ) = 1 − 0.025 1 / 10 U(0) = 1 - 0.025^{1/10} U ( 0 ) = 1 − 0.02 5 1/10 。因为 ln 0.025 ≈ − 3.688879 \ln 0.025 \approx -3.688879 ln 0.025 ≈ − 3.688879 ,故 0.025 1 / 10 = e − 0.3688879 ≈ 0.691503 0.025^{1/10} = e^{-0.3688879} \approx 0.691503 0.02 5 1/10 = e − 0.3688879 ≈ 0.691503 。区间为 [ 0 , 0.3085 ] [0,\, 0.3085] [ 0 , 0.3085 ] 。
Wilson 区间。 [ 0 , z 2 / ( n + z 2 ) ] = [ 0 , 3.84145882 / 13.84145882 ] ≈ [ 0 , 0.2775 ] [0,\, z^2/(n+z^2)] = [0,\, 3.84145882/13.84145882] \approx [0,\, 0.2775] [ 0 , z 2 / ( n + z 2 )] = [ 0 , 3.84145882/13.84145882 ] ≈ [ 0 , 0.2775 ] 。
Wald 区间。 [ 0 , 0 ] [0,0] [ 0 , 0 ] 。
三种方法给出的结果确实不同。Wilson 和精确区间都表明,约 28%–31% 以下的假阳性率与数据相容。Wald 区间暗示发生率恰为零,反映的是该方法的失效,并没有提供关于分类器的不确定性信息。这些区间均不是关于 p p p 的概率陈述;每个区间都是计算出的数集,而精确或近似的保证属于生成该区间的方法。保证也依赖二项模型正确。
由对称性 S ↦ n − S S \mapsto n - S S ↦ n − S ,k = n k = n k = n 时精确下端点为 L ( n ) = 0.025 1 / n L(n) = 0.025^{1/n} L ( n ) = 0.02 5 1/ n ,在此例约为 0.6915 0.6915 0.6915 ;Wilson 下端点为 n / ( n + z 2 ) ≈ 0.7225 n/(n+z^2) \approx 0.7225 n / ( n + z 2 ) ≈ 0.7225 。
取 n = 4 n = 4 n = 4 、k = 2 k = 2 k = 2 ,则
P p ( S ≥ 2 ) = 1 − ( 1 − p ) 4 − 4 p ( 1 − p ) 3 = 6 p 2 − 8 p 3 + 3 p 4 . P_p(S \ge 2) = 1 - (1-p)^4 - 4p(1-p)^3 = 6p^2 - 8p^3 + 3p^4 . P p ( S ≥ 2 ) = 1 − ( 1 − p ) 4 − 4 p ( 1 − p ) 3 = 6 p 2 − 8 p 3 + 3 p 4 . 因此 L ( 2 ) L(2) L ( 2 ) 是 ( 0 , 1 ) (0,1) ( 0 , 1 ) 中方程 6 p 2 − 8 p 3 + 3 p 4 = 0.025 6p^2 - 8p^3 + 3p^4 = 0.025 6 p 2 − 8 p 3 + 3 p 4 = 0.025 的解。左边递增,导数为 12 p ( 1 − p ) 2 > 0 12p(1-p)^2 \gt 0 12 p ( 1 − p ) 2 > 0 。在 p = 0.0676 p = 0.0676 p = 0.0676 时,左边约为 0.025010 0.025010 0.025010 ,略大于目标值。用约为 0.7052 0.7052 0.7052 的导数做一步牛顿(Newton)迭代,得到 L ( 2 ) ≈ 0.06759 L(2) \approx 0.06759 L ( 2 ) ≈ 0.06759 ;代回后多项式的值精确到小数点后六位为 0.025000 0.025000 0.025000 。
对于上端点,如果 S ∼ Bin ( 4 , p ) S \sim \text{Bin}(4,p) S ∼ Bin ( 4 , p ) ,则 4 − S ∼ Bin ( 4 , 1 − p ) 4 - S \sim \text{Bin}(4,1-p) 4 − S ∼ Bin ( 4 , 1 − p ) 。因此 P p ( S ≤ 2 ) = P 1 − p ( S ≥ 2 ) P_p(S \le 2) = P_{1-p}(S \ge 2) P p ( S ≤ 2 ) = P 1 − p ( S ≥ 2 ) ,而 U ( 2 ) = 1 − L ( 2 ) ≈ 0.93241 U(2) = 1 - L(2) \approx 0.93241 U ( 2 ) = 1 − L ( 2 ) ≈ 0.93241 。
作为比较,Wilson 区间以 0.5 0.5 0.5 为中心,半宽约为 0.3500 0.3500 0.3500 ,得到 [ 0.1500 , 0.8500 ] [0.1500,\,0.8500] [ 0.1500 , 0.8500 ] 。Wald 区间为 0.5 ± 0.4900 = [ 0.0100 , 0.9900 ] 0.5 \pm 0.4900 = [0.0100,\,0.9900] 0.5 ± 0.4900 = [ 0.0100 , 0.9900 ] 。这里 Wald 区间比精确区间更宽 ,因此单靠宽度不能判断方法是否校准。
取 n = 10 n = 10 n = 10 、k = 1 k = 1 k = 1 ,于是 p ^ = 0.1 \hat p = 0.1 p ^ = 0.1 ,并取 α = 0.05 \alpha = 0.05 α = 0.05 、z 2 ≈ 3.84146 z^2 \approx 3.84146 z 2 ≈ 3.84146 。
Wald 区间。 半宽为 1.95996 0.09 / 10 ≈ 0.1859 1.95996\sqrt{0.09/10} \approx 0.1859 1.95996 0.09/10 ≈ 0.1859 ,所以区间为 [ − 0.0859 , 0.2859 ] [-0.0859,\, 0.2859] [ − 0.0859 , 0.2859 ] ,下端点为负。
Wilson 区间。 这时 z 2 / n ≈ 0.384146 z^2/n \approx 0.384146 z 2 / n ≈ 0.384146 ,所以 c = ( 0.1 + 0.192073 ) / 1.384146 ≈ 0.2110 c = (0.1 + 0.192073)/1.384146 \approx 0.2110 c = ( 0.1 + 0.192073 ) /1.384146 ≈ 0.2110 ,且
h = 1.95996 0.009 + 0.0096037 1.384146 ≈ 1.95996 × 0.136395 1.384146 ≈ 0.1931. h = \frac{1.95996\sqrt{0.009 + 0.0096037}}{1.384146} \approx \frac{1.95996 \times 0.136395}{1.384146} \approx 0.1931 . h = 1.384146 1.95996 0.009 + 0.0096037 ≈ 1.384146 1.95996 × 0.136395 ≈ 0.1931. 区间为 [ 0.0179 , 0.4042 ] [0.0179,\, 0.4042] [ 0.0179 , 0.4042 ] 。正如 Wilson 定理所保证的,它位于 [ 0 , 1 ] [0,1] [ 0 , 1 ] 中,而且中心不在 p ^ \hat p p ^ 。
精确区间。 L ( 1 ) L(1) L ( 1 ) 满足 P p ( S ≥ 1 ) = 1 − ( 1 − p ) 10 = 0.025 P_p(S \ge 1) = 1 - (1-p)^{10} = 0.025 P p ( S ≥ 1 ) = 1 − ( 1 − p ) 10 = 0.025 ,所以 L ( 1 ) = 1 − 0.975 1 / 10 L(1) = 1 - 0.975^{1/10} L ( 1 ) = 1 − 0.97 5 1/10 。因为 ln 0.975 ≈ − 0.0253178 \ln 0.975 \approx -0.0253178 ln 0.975 ≈ − 0.0253178 ,得 0.975 1 / 10 = e − 0.00253178 ≈ 0.997471 0.975^{1/10} = e^{-0.00253178} \approx 0.997471 0.97 5 1/10 = e − 0.00253178 ≈ 0.997471 ,L ( 1 ) ≈ 0.00253 L(1) \approx 0.00253 L ( 1 ) ≈ 0.00253 。U ( 1 ) U(1) U ( 1 ) 满足 P p ( S ≤ 1 ) = ( 1 − p ) 9 ( 1 + 9 p ) = 0.025 P_p(S \le 1) = (1-p)^{9}(1+9p) = 0.025 P p ( S ≤ 1 ) = ( 1 − p ) 9 ( 1 + 9 p ) = 0.025 ,没有闭式解;二分法给出 U ( 1 ) ≈ 0.4450 U(1) \approx 0.4450 U ( 1 ) ≈ 0.4450 。检验:在 p = 0.445 p = 0.445 p = 0.445 处,( 0.555 ) 9 × 5.005 ≈ 0.02501 (0.555)^9 \times 5.005 \approx 0.02501 ( 0.555 ) 9 × 5.005 ≈ 0.02501 。
精确区间 [ 0.0025 , 0.4450 ] [0.0025,\, 0.4450] [ 0.0025 , 0.4450 ] 是三者中最宽的。它的下端点很小,因为即使 p p p 很小,十次试验中出现一次事件也并不罕见:在 p = 0.00253 p = 0.00253 p = 0.00253 时,至少发生一次事件的概率仍为 0.025 0.025 0.025 。
单侧界与多个指标
对 k < n k \lt n k < n ,单侧 1 − α 1-\alpha 1 − α 上界 U 1 ( k ) U_1(k) U 1 ( k ) 满足 P p ( S ≤ k ) = α P_p(S \le k) = \alpha P p ( S ≤ k ) = α ;令 U 1 ( n ) = 1 U_1(n) = 1 U 1 ( n ) = 1 ,因为 k = n k = n k = n 时该方程无解。这是与双侧区间不同的方法。等尾 1 − α 1-\alpha 1 − α 区间的上端点是一个 1 − α / 2 1-\alpha/2 1 − α /2 上界。如果只关心错误率的上界,应使用单侧方法,并在观察数据之前作出选择。
一次评估中计算多个区间时,每个区间都有自己的边际保证。覆盖率定理并不意味着它们会同时成立。
练习
练习 7.3.10
(取 n = 1 n = 1 n = 1 、α = 0.05 \alpha = 0.05 α = 0.05 ,求 Wald、Wilson 和精确方法各自的覆盖率函数。)
基础
解答 (3) 1 Wald
如上面的反例所示,当 0 < p < 1 0 \lt p \lt 1 0 < p < 1 时 C ( p ) = 0 C(p) = 0 C ( p ) = 0 ;在 p ∈ { 0 , 1 } p \in \{0,1\} p ∈ { 0 , 1 } 处 C ( p ) = 1 C(p) = 1 C ( p ) = 1 。
2 Wilson
关键一步
由于 z 2 / ( 1 + z 2 ) ≈ 0.7935 z^2/(1+z^2) \approx 0.7935 z 2 / ( 1 + z 2 ) ≈ 0.7935 ,当 S = 0 S = 0 S = 0 时区间为 [ 0 , 0.7935 ] [0,0.7935] [ 0 , 0.7935 ] ,当 S = 1 S = 1 S = 1 时为 [ 0.2065 , 1 ] [0.2065,1] [ 0.2065 , 1 ] 。因此 p < 0.2065 p \lt 0.2065 p < 0.2065 时 C ( p ) = 1 − p C(p) = 1-p C ( p ) = 1 − p ;在 [ 0.2065 , 0.7935 ] [0.2065,0.7935] [ 0.2065 , 0.7935 ] 上 C ( p ) = 1 C(p) = 1 C ( p ) = 1 ;在 p > 0.7935 p \gt 0.7935 p > 0.7935 时 C ( p ) = p C(p) = p C ( p ) = p 。当 p = 0.1 p = 0.1 p = 0.1 时,覆盖率为 0.90 < 0.95 0.90 \lt 0.95 0.90 < 0.95 ,证实 Wilson 仅为近似校准。
依据: S = 0 S=0 S = 0 与 S = 1 S=1 S = 1 的区间分别为 [ 0 , z 2 / ( 1 + z 2 ) ] [0,\,z^2/(1+z^2)] [ 0 , z 2 / ( 1 + z 2 )] 和 [ 1 / ( 1 + z 2 ) , 1 ] [1/(1+z^2),\,1] [ 1/ ( 1 + z 2 ) , 1 ] 。
3 精确方法
U ( 0 ) = 0.975 U(0) = 0.975 U ( 0 ) = 0.975 ,L ( 1 ) = 0.025 L(1) = 0.025 L ( 1 ) = 0.025 。因此当 p < 0.025 p \lt 0.025 p < 0.025 时 C ( p ) = 1 − p > 0.975 C(p) = 1-p \gt 0.975 C ( p ) = 1 − p > 0.975 ;在 [ 0.025 , 0.975 ] [0.025,0.975] [ 0.025 , 0.975 ] 上 C ( p ) = 1 C(p) = 1 C ( p ) = 1 ;当 p > 0.975 p \gt 0.975 p > 0.975 时 C ( p ) = p > 0.975 C(p) = p \gt 0.975 C ( p ) = p > 0.975 。所有值都超过 0.95 0.95 0.95 。
看下一步 (2/3) 全部展开
练习 7.3.11
(推导 k = 0 k = 0 k = 0 和 k = n k = n k = n 时精确区间端点的闭式表达式。取 n = 30 n = 30 n = 30 、α = 0.05 \alpha = 0.05 α = 0.05 计算,并与 k = 0 k = 0 k = 0 时单侧 95% 上界比较。)
核心
解答 (4) 1 闭式表达式
当 k = 0 k = 0 k = 0 时,P p ( S ≤ 0 ) = ( 1 − p ) n = α / 2 P_p(S \le 0) = (1-p)^n = \alpha/2 P p ( S ≤ 0 ) = ( 1 − p ) n = α /2 ,所以 U ( 0 ) = 1 − ( α / 2 ) 1 / n U(0) = 1 - (\alpha/2)^{1/n} U ( 0 ) = 1 − ( α /2 ) 1/ n ,L ( 0 ) = 0 L(0) = 0 L ( 0 ) = 0 。当 k = n k = n k = n 时,P p ( S ≥ n ) = p n = α / 2 P_p(S \ge n) = p^n = \alpha/2 P p ( S ≥ n ) = p n = α /2 ,所以 L ( n ) = ( α / 2 ) 1 / n L(n) = (\alpha/2)^{1/n} L ( n ) = ( α /2 ) 1/ n ,U ( n ) = 1 U(n) = 1 U ( n ) = 1 。
2 代入 n = 30 n=30 n = 30
( 0.025 ) 1 / 30 = e − 3.688879 / 30 = e − 0.122963 ≈ 0.884297 (0.025)^{1/30} = e^{-3.688879/30} = e^{-0.122963} \approx 0.884297 ( 0.025 ) 1/30 = e − 3.688879/30 = e − 0.122963 ≈ 0.884297 。于是 k = 0 k = 0 k = 0 对应区间 [ 0 , 0.1157 ] [0,0.1157] [ 0 , 0.1157 ] ,k = 30 k = 30 k = 30 对应 [ 0.8843 , 1 ] [0.8843,1] [ 0.8843 , 1 ] 。
3 单侧上界
单侧上界满足 ( 1 − p ) 30 = 0.05 (1-p)^{30} = 0.05 ( 1 − p ) 30 = 0.05 ,因此 U 1 = 1 − 0.05 1 / 30 = 1 − e − 0.099858 ≈ 0.0950 U_1 = 1 - 0.05^{1/30} = 1 - e^{-0.099858} \approx 0.0950 U 1 = 1 − 0.0 5 1/30 = 1 − e − 0.099858 ≈ 0.0950 。它小于 0.1157 0.1157 0.1157 ,因为全部 α \alpha α 都放在一侧尾部。
4 检验
当 x ≥ 0 x \ge 0 x ≥ 0 时 1 − e − x ≤ x 1 - e^{-x} \le x 1 − e − x ≤ x ,因此 U 1 ≤ ln ( 20 ) / 30 ≈ 0.0999 U_1 \le \ln(20)/30 \approx 0.0999 U 1 ≤ ln ( 20 ) /30 ≈ 0.0999 ;计算结果符合该不等式。
看下一步 (2/4) 全部展开
练习 7.3.12
(证明对每个 k k k ,Wilson 区间的宽度至多为 z / n + z 2 z/\sqrt{n+z^2} z / n + z 2 。在 α = 0.05 \alpha = 0.05 α = 0.05 时,求保证宽度不超过 0.1 0.1 0.1 的最小 n n n ,并与相应的 Wald 计算比较。)
核心
解答 (3) 1 控制宽度
宽度为 2 h 2h 2 h 。代入 1 / 4 1/4 1/4 得
2 h ≤ 2 z 1 4 n + z 2 4 n 2 n + z 2 n = z n + z 2 / n ( n + z 2 ) / n = z n + z 2 , 2h \le \frac{2z\sqrt{\frac{1}{4n} + \frac{z^2}{4n^2}}}{\frac{n+z^2}{n}} = \frac{z\sqrt{n+z^2}/n}{(n+z^2)/n} = \frac{z}{\sqrt{n+z^2}}, 2 h ≤ n n + z 2 2 z 4 n 1 + 4 n 2 z 2 = ( n + z 2 ) / n z n + z 2 / n = n + z 2 z , 当 p ^ = 1 / 2 \hat p = 1/2 p ^ = 1/2 时取等号。
依据: h h h 随 p ^ ( 1 − p ^ ) \hat p(1-\hat p) p ^ ( 1 − p ^ ) 增大而增大,而后者至多为 1 / 4 1/4 1/4 。
2 最小的充分 n n n
要求 z / n + z 2 ≤ 0.1 z/\sqrt{n+z^2} \le 0.1 z / n + z 2 ≤ 0.1 ,得到 n ≥ z 2 / 0.01 − z 2 = 384.146 − 3.841 = 380.30 n \ge z^2/0.01 - z^2 = 384.146 - 3.841 = 380.30 n ≥ z 2 /0.01 − z 2 = 384.146 − 3.841 = 380.30 ,所以 n = 381 n = 381 n = 381 。检验:1.95996 / 384.84 ≈ 0.09991 1.95996/\sqrt{384.84} \approx 0.09991 1.95996/ 384.84 ≈ 0.09991 ,而 n = 380 n = 380 n = 380 时约为 0.10004 0.10004 0.10004 。
3 与 Wald 比较
这个上界对所有可能的 k k k 都成立,因此是关于宽度的确定性结论,并不涉及覆盖率。Wald 最坏情况满足 z / n ≤ 0.1 z/\sqrt n \le 0.1 z / n ≤ 0.1 需要 n ≥ 385 n \ge 385 n ≥ 385 。当 k = 0 k = 0 k = 0 时,Wilson 宽度 z 2 / ( n + z 2 ) z^2/(n+z^2) z 2 / ( n + z 2 ) 按 1 / n 1/n 1/ n 的速度缩小,比最坏情况下的 1 / n 1/\sqrt n 1/ n 快得多。
看下一步 (2/3) 全部展开
练习 7.3.13
(一个固定分类器独立于测试数据选定,并在带标签的独立同分布测试样本上评估;样本有预先确定的子组指示变量。报告对敏感度(阳性样本中)、特异度(阴性样本中)和某子组内的错误率给出精确 95% 区间。假设相关的总体概率为正。如果某指标在样本中没有符合条件的个体,就对它报告 [ 0 , 1 ] [0,1] [ 0 , 1 ] 。可以得到什么保证?)
综合
解答 (4) 1 对每个指标分别建立二项模型
对每个指标分别以哪些样本符合该指标的条件为条件。由独立同分布抽样,这些样本的结果是具有该指标共同总体发生率的独立伯努利变量;例如,阳性样本具有相同的边际敏感度。分析整体敏感度时不要再以子组归属为条件,因为各子组的表现可能不同。
依据: 这个二项模型由独立同分布抽样与固定分类器共同保证,而不仅仅由独立性保证。
2 每个区间的无条件覆盖率
符合条件的样本数为正时,精确尾概率反演的条件覆盖率至少为 0.95 0.95 0.95 ;样本数为零时,[ 0 , 1 ] [0,1] [ 0 , 1 ] 自动覆盖。对该指标所有符合条件的样本配置取平均,可得每个区间的无条件覆盖率至少为 0.95 0.95 0.95 。
3 同时覆盖
关键一步
每个区间不覆盖的概率至多为 0.05 0.05 0.05 ,所以三个区间同时覆盖的概率至少为 1 − 3 ( 0.05 ) = 0.85 1 - 3(0.05) = 0.85 1 − 3 ( 0.05 ) = 0.85 。不能直接使用 0.95 3 0.95^3 0.9 5 3 ,因为区间不一定独立。若要使总体同时覆盖水平达到 0.95 0.95 0.95 ,可对每个指标使用水平为 1 − 0.05 / 3 1 - 0.05/3 1 − 0.05/3 的精确区间。
依据: 对三个不覆盖事件使用并集界。
4 95% 不是什么
令 N N N 为三个区间中覆盖其目标的个数。由期望的线性性,E [ N / 3 ] ≥ 0.95 E[N/3] \ge 0.95 E [ N /3 ] ≥ 0.95 ;但实际比例只能是 0 0 0 、1 / 3 1/3 1/3 、2 / 3 2/3 2/3 或 1 1 1 。因此 95% 不是这份报告中正确区间的比例。它也与患病率无关:类别比例是另一个参数,需要单独构造区间。
看下一步 (2/4) 全部展开
小结
Wald 区间在方差中代入 p ^ \hat p p ^ ;它在 k = 0 k = 0 k = 0 和 k = n k = n k = n 时退化,而且覆盖率可能极差。Wilson 区间通过求解二次不等式反演得分检验,端点始终在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 中,但只是近似校准。精确尾概率反演保证对每个 p p p 的覆盖率至少为 1 − α 1-\alpha 1 − α ,代价是离散性造成的保守性。这些覆盖率讨论都针对给定模型下的重复抽样,每次针对一个区间,并依赖支撑二项模型的独立性与共同发生率假设。