从总和到概率
成功次数是离散的;不过,当许多独立试验相加,计数的波动尺度是试验次数的平方根。中心极限定理描述这个尺度上的分布形状。实际运用时,我们须先算出均值和标准差,正确翻译事件,然后牢记近似值不是等式。
设 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n 相互独立,均为成功概率相同且固定 的伯努利(Bernoulli)变量,0 < p < 1 0<p<1 0 < p < 1 。令 S n = ∑ i = 1 n X i S_n=\sum\limits_{i=1}^n X_i S n = i = 1 ∑ n X i ,q = 1 − p q=1-p q = 1 − p ,则 S n ∼ Bin ( n , p ) S_n\sim\operatorname{Bin}(n,p) S n ∼ Bin ( n , p ) ,E [ S n ] = n p E[S_n]=np E [ S n ] = n p ,Var ( S n ) = n p q \operatorname{Var}(S_n)=npq Var ( S n ) = n pq 。
若 0 < p < 1 0<p<1 0 < p < 1 固定,则对每个固定实数 z z z ,
P ( S n − n p n p q ≤ z ) ⟶ Φ ( z ) , P\!\left(\frac{S_n-np}{\sqrt{npq}}\le z\right)\longrightarrow\Phi(z), P ( n pq S n − n p ≤ z ) ⟶ Φ ( z ) , 其中 Φ \Phi Φ 是标准正态分布函数。
这是把独立同分布、有限方差的中心极限定理应用于伯努利加数。每个 X i X_i X i 的均值为 p p p 、方差为 p q pq pq ;独立性使交叉协方差消失,因此 Var ( S n ) = n p q \operatorname{Var}(S_n)=npq Var ( S n ) = n pq ,减去 n p np n p 再除以 n p q \sqrt{npq} n pq ,便得到均值为零、方差为一的变量。定理说明固定门槛处的收敛,却没有给出某个有限 n n n 的数值误差界。固定 p p p 的条件不能忽略:若 p p p 随 n n n 改变,上述定理本身不足以证明同一结论。p = 0 , 1 p=0,1 p = 0 , 1 时,计数是确定的,上式的分母为零,不能用此方式标准化。
整数端点与连续性修正
对整数 a ≤ b a\le b a ≤ b ,精确的二项概率是
P ( a ≤ S n ≤ b ) = ∑ k = a b ( n k ) p k q n − k , P(a\le S_n\le b)=\sum_{k=a}^{b}\binom nk p^kq^{n-k}, P ( a ≤ S n ≤ b ) = k = a ∑ b ( k n ) p k q n − k ,
其中 0 , … , n 0,\ldots,n 0 , … , n 以外的项取零。
带连续性修正的正态近似,把整数 k k k 处的概率质量想象成占据 k − 1 / 2 k-1/2 k − 1/2 至 k + 1 / 2 k+1/2 k + 1/2 的区间。令 σ = n p q \sigma=\sqrt{npq} σ = n pq ,便有
P ( a ≤ S n ≤ b ) ≈ Φ ( b + 1 / 2 − n p σ ) − Φ ( a − 1 / 2 − n p σ ) . P(a\le S_n\le b)\approx\Phi\!\left(\frac{b+1/2-np}{\sigma}\right)-\Phi\!\left(\frac{a-1/2-np}{\sigma}\right). P ( a ≤ S n ≤ b ) ≈ Φ ( σ b + 1/2 − n p ) − Φ ( σ a − 1/2 − n p ) . 同理,P ( S n ≥ a ) P(S_n\ge a) P ( S n ≥ a ) 使用下界 a − 1 / 2 a-1/2 a − 1/2 ,而 P ( S n > a ) P(S_n>a) P ( S n > a ) 使用 a + 1 / 2 a+1/2 a + 1/2 。
加减半个单位是有用的近似方法,并非保证正态面积精确或必然改善误差的定理。修正要在标准化之前 进行:半个计数单位标准化后是 1 / ( 2 σ ) 1/(2\sigma) 1/ ( 2 σ ) 。
半个单位要在计数尺度上加减,即在除以 σ \sigma σ 之前;若改为在标准化后的值上加 1 / 2 1/2 1/2 ,边界便移动了 σ / 2 \sigma/2 σ /2 个计数单位。方向由不等号决定:P ( S n ≥ a ) P(S_n\ge a) P ( S n ≥ a ) 和 P ( S n < a ) P(S_n\lt a) P ( S n < a ) 用 a − 1 / 2 a-1/2 a − 1/2 ,而 P ( S n > a ) P(S_n\gt a) P ( S n > a ) 和 P ( S n ≤ a ) P(S_n\le a) P ( S n ≤ a ) 用 a + 1 / 2 a+1/2 a + 1/2 。例如 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 时,事件 S ≥ 50 S\ge50 S ≥ 50 和 S > 50 S\gt50 S > 50 分别用 49.5 49.5 49.5 和 50.5 50.5 50.5 ,虽然两者写出来都是数字 50 50 50 。
固定 p p p 时,中心极限定理也可处理标准化后趋向固定值的移动门槛。
设 0 < p < 1 0<p<1 0 < p < 1 固定,Z n = ( S n − n p ) / n p q Z_n=(S_n-np)/\sqrt{npq} Z n = ( S n − n p ) / n pq 。若实数 z n z_n z n 满足 z n → z z_n\to z z n → z ,则 P ( Z n ≤ z n ) → Φ ( z ) P(Z_n\le z_n)\to\Phi(z) P ( Z n ≤ z n ) → Φ ( z ) 。特别地,修正与不修正的正态近似有相同的极限。
固定 ε > 0 \varepsilon>0 ε > 0 。对所有充分大的 n n n 有 z − ε ≤ z n ≤ z + ε z-\varepsilon\le z_n\le z+\varepsilon z − ε ≤ z n ≤ z + ε ,所以由单调性,
P ( Z n ≤ z − ε ) ≤ P ( Z n ≤ z n ) ≤ P ( Z n ≤ z + ε ) . P(Z_n\le z-\varepsilon)\le P(Z_n\le z_n)\le P(Z_n\le z+\varepsilon). P ( Z n ≤ z − ε ) ≤ P ( Z n ≤ z n ) ≤ P ( Z n ≤ z + ε ) . 由定理,两端分别趋于 Φ ( z − ε ) \Phi(z-\varepsilon) Φ ( z − ε ) 和 Φ ( z + ε ) \Phi(z+\varepsilon) Φ ( z + ε ) ,所以中间一项的下极限和上极限都在这两个值之间。令 ε ↓ 0 \varepsilon\downarrow0 ε ↓ 0 并利用 Φ \Phi Φ 的连续性,就得 P ( Z n ≤ z n ) → Φ ( z ) P(Z_n\le z_n)\to\Phi(z) P ( Z n ≤ z n ) → Φ ( z ) 。半个计数单位只使标准化门槛移动 1 / ( 2 n p q ) → 0 1/(2\sqrt{npq})\to0 1/ ( 2 n pq ) → 0 ,正是其特例。
证明透视
极限的连续性用在哪里 论证用了三个事实,各用一次。分布函数对门槛的单调性把移动门槛化为两个固定门槛;这只需要 z n z_n z n 最终落在 z z z 的 ε \varepsilon ε 范围内,不需要任何收敛速度。接着在固定点 z ± ε z\pm\varepsilon z ± ε 应用定理,而定理也只提供这么多。最后一步是 Φ \Phi Φ 在 z z z 处连续:它使差距 Φ ( z + ε ) − Φ ( z − ε ) \Phi(z+\varepsilon)-\Phi(z-\varepsilon) Φ ( z + ε ) − Φ ( z − ε ) 在 ε ↓ 0 \varepsilon\downarrow0 ε ↓ 0 时消失。
若极限分布在 z z z 处有原子,这一步就会失效。在下面反例的泊松(Poisson)情形中,极限分布函数在每个整数处跳跃,所以把门槛以趋于零的幅度移过某个整数,可以改变极限。证明完全没有控制收敛速度,因此不给出有限样本的误差估计,也不保证极端尾部的相对准确度。
设 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 。均值是 40 40 40 ,标准差是 24 ≈ 4.899 \sqrt{24}\approx4.899 24 ≈ 4.899 。事件 35 ≤ S ≤ 45 35\le S\le45 35 ≤ S ≤ 45 的修正端点为 34.5 34.5 34.5 和 45.5 45.5 45.5 ,所以
P ( 35 ≤ S ≤ 45 ) ≈ Φ ( 5.5 / 24 ) − Φ ( − 5.5 / 24 ) ≈ 0.7384. P(35\le S\le45)\approx\Phi(5.5/\sqrt{24})-\Phi(-5.5/\sqrt{24})\approx0.7384. P ( 35 ≤ S ≤ 45 ) ≈ Φ ( 5.5/ 24 ) − Φ ( − 5.5/ 24 ) ≈ 0.7384. 精确的二项和约为 0.7386 0.7386 0.7386 。另一个事件 S ≥ 50 S\ge50 S ≥ 50 要用下界 49.5 49.5 49.5 ,正态近似为 1 − Φ ( 9.5 / 24 ) ≈ 0.02624 1-\Phi(9.5/\sqrt{24})\approx0.02624 1 − Φ ( 9.5/ 24 ) ≈ 0.02624 ;精确和约为 0.02710 0.02710 0.02710 。这两个例子的吻合程度不能保证其他参数或尾部也同样准确。
设 S ∼ Bin ( 400 , 1 / 2 ) S\sim\operatorname{Bin}(400,1/2) S ∼ Bin ( 400 , 1/2 ) ,均值为 200 200 200 ,标准差为 10 10 10 。对 P ( S ≥ 220 ) P(S\ge220) P ( S ≥ 220 ) ,修正边界是 219.5 219.5 219.5 ,于是
P ( S ≥ 220 ) ≈ 1 − Φ ( 1.95 ) ≈ 0.02559. P(S\ge220)\approx1-\Phi(1.95)\approx0.02559. P ( S ≥ 220 ) ≈ 1 − Φ ( 1.95 ) ≈ 0.02559. 不作修正则用 z = 2 z=2 z = 2 ,得 1 − Φ ( 2 ) ≈ 0.02275 1-\Phi(2)\approx0.02275 1 − Φ ( 2 ) ≈ 0.02275 。精确的二项尾概率约为 0.02552 0.02552 0.02552 。这里半个单位影响到第二位有效数字,因为它把标准化边界移动了 0.05 0.05 0.05 ,而该处的正态密度仍然不小。
设 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 。不修正的正态近似给每个单一取值的概率都是零,因为它在同一个标准化点相减 Φ \Phi Φ 。修正后的近似把 40 40 40 处的原子摊开到 [ 39.5 , 40.5 ] [39.5,40.5] [ 39.5 , 40.5 ] :
P ( S = 40 ) ≈ Φ ( 0.5 24 ) − Φ ( − 0.5 24 ) ≈ 0.0813 , P(S=40)\approx\Phi\!\left(\frac{0.5}{\sqrt{24}}\right)-\Phi\!\left(-\frac{0.5}{\sqrt{24}}\right)\approx0.0813, P ( S = 40 ) ≈ Φ ( 24 0.5 ) − Φ ( − 24 0.5 ) ≈ 0.0813 , 而精确值 ( 100 40 ) 0.4 40 0.6 60 \binom{100}{40}0.4^{40}0.6^{60} ( 40 100 ) 0. 4 40 0. 6 60 约为 0.0812 0.0812 0.0812 。因此对单点事件,修正并非可有可无的润色:没有它,近似毫无用处。它仍然没有误差保证;这里准确,部分原因是 40 40 40 恰好是均值。
模型或尺度改变时
反例模式
成功概率随样本数改变 在第 n n n 行取相互独立的伯努利变量,每个成功概率均为 p n = 1 / n p_n=1/n p n = 1/ n 。那么 P ( S n = 0 ) = ( 1 − 1 / n ) n → e − 1 P(S_n=0)=(1-1/n)^n\to e^{-1} P ( S n = 0 ) = ( 1 − 1/ n ) n → e − 1 ;其二项分布反而趋向均值为一的泊松分布。零处的概率质量不会消失,不能单凭 n n n 很大便把计数当成近似连续。此处 n p n np_n n p n 恒为一,以上固定分布的中心极限定理不适用。
若所有试验都是同一个伯努利变量 X X X 的副本,计数便是 n X nX n X ,方差是 n 2 p q n^2pq n 2 pq ,而非 n p q npq n pq 。样本数大本身不会带来独立信息。
中心极限定理所得近似也不是概率界:界在其条件下必定成立;近似有多准确则需要另外分析误差。
练习
快速检查
(设 S ∼ Bin ( 400 , 1 / 2 ) S\sim\operatorname{Bin}(400,1/2) S ∼ Bin ( 400 , 1/2 ) 。写出 P ( 190 ≤ S ≤ 210 ) P(190\le S\le210) P ( 190 ≤ S ≤ 210 ) 经连续性修正的正态近似,算至小数点后三位。)
解答 · 答案 均值为 200 200 200 ,标准差为 10 10 10 。近似值是 Φ ( 1.05 ) − Φ ( − 1.05 ) = 2 Φ ( 1.05 ) − 1 ≈ 0.706 \Phi(1.05)-\Phi(-1.05)=2\Phi(1.05)-1\approx0.706 Φ ( 1.05 ) − Φ ( − 1.05 ) = 2Φ ( 1.05 ) − 1 ≈ 0.706 。
快速检查
(设 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 。分别写出 P ( S > 50 ) P(S>50) P ( S > 50 ) 和 P ( S ≤ 50 ) P(S\le50) P ( S ≤ 50 ) 的修正正态表达式,并解释为何相加等于一。)
解答 · 答案 分别是 1 − Φ ( 10.5 / 24 ) 1-\Phi(10.5/\sqrt{24}) 1 − Φ ( 10.5/ 24 ) 和 Φ ( 10.5 / 24 ) \Phi(10.5/\sqrt{24}) Φ ( 10.5/ 24 ) 。因为 S S S 取整数,S > 50 S>50 S > 50 和 S ≤ 50 S\le50 S ≤ 50 恰好分割样本空间;两个近似都使用边界 50.5 50.5 50.5 。
快速检查
(若 S n ∼ Bin ( n , p ) S_n\sim\operatorname{Bin}(n,p) S n ∼ Bin ( n , p ) ,且 0 < p < 1 0\lt p<1 0 < p < 1 固定,求 P ( S n ≤ n p + 2 n p ( 1 − p ) ) P(S_n\le np+2\sqrt{np(1-p)}) P ( S n ≤ n p + 2 n p ( 1 − p ) ) 的极限;按实数门槛直接理解事件。)
解答 · 答案 标准化后事件是 Z n ≤ 2 Z_n\le2 Z n ≤ 2 ,因此极限为 Φ ( 2 ) ≈ 0.97725 \Phi(2)\approx0.97725 Φ ( 2 ) ≈ 0.97725 。这个极限陈述无须把门槛取整。