從總和到概率
成功次數是離散的;不過,當許多獨立試驗相加,計數的波動尺度是試驗次數的平方根。中心極限定理描述這個尺度上的分佈形狀。實際運用時,我們須先算出平均值和標準差,正確翻譯事件,然後謹記近似值不是等式。
設 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n 相互獨立,均為成功概率相同且固定 的伯努利(Bernoulli)變量,0 < p < 1 0<p<1 0 < p < 1 。令 S n = ∑ i = 1 n X i S_n=\sum\limits_{i=1}^n X_i S n = i = 1 ∑ n X i ,q = 1 − p q=1-p q = 1 − p ,則 S n ∼ Bin ( n , p ) S_n\sim\operatorname{Bin}(n,p) S n ∼ Bin ( n , p ) ,E [ S n ] = n p E[S_n]=np E [ S n ] = n p ,Var ( S n ) = n p q \operatorname{Var}(S_n)=npq Var ( S n ) = n pq 。
若 0 < p < 1 0<p<1 0 < p < 1 固定,則對每個固定實數 z z z ,
P ( S n − n p n p q ≤ z ) ⟶ Φ ( z ) , P\!\left(\frac{S_n-np}{\sqrt{npq}}\le z\right)\longrightarrow\Phi(z), P ( n pq S n − n p ≤ z ) ⟶ Φ ( z ) , 其中 Φ \Phi Φ 是標準正態分佈函數。
這是把獨立同分佈、有限方差的中心極限定理應用於伯努利加數。每個 X i X_i X i 的平均值為 p p p 、方差為 p q pq pq ;獨立性令交叉協方差消失,因此 Var ( S n ) = n p q \operatorname{Var}(S_n)=npq Var ( S n ) = n pq ,減去 n p np n p 再除以 n p q \sqrt{npq} n pq ,便得到平均值為零、方差為一的變量。定理說明固定門檻處的收斂,卻沒有給出某個有限 n n n 的數值誤差界。固定 p p p 的條件不能忽略:若 p p p 隨 n n n 改變,上述定理本身不足以證明同一結論。p = 0 , 1 p=0,1 p = 0 , 1 時,計數是確定的,上式的分母為零,不能用此方式標準化。
整數端點與連續性修正
對整數 a ≤ b a\le b a ≤ b ,精確的二項概率是
P ( a ≤ S n ≤ b ) = ∑ k = a b ( n k ) p k q n − k , P(a\le S_n\le b)=\sum_{k=a}^{b}\binom nk p^kq^{n-k}, P ( a ≤ S n ≤ b ) = k = a ∑ b ( k n ) p k q n − k ,
其中 0 , … , n 0,\ldots,n 0 , … , n 以外的項取零。
帶連續性修正的正態近似,把整數 k k k 處的概率質量想像成佔據 k − 1 / 2 k-1/2 k − 1/2 至 k + 1 / 2 k+1/2 k + 1/2 的區間。令 σ = n p q \sigma=\sqrt{npq} σ = n pq ,便有
P ( a ≤ S n ≤ b ) ≈ Φ ( b + 1 / 2 − n p σ ) − Φ ( a − 1 / 2 − n p σ ) . P(a\le S_n\le b)\approx\Phi\!\left(\frac{b+1/2-np}{\sigma}\right)-\Phi\!\left(\frac{a-1/2-np}{\sigma}\right). P ( a ≤ S n ≤ b ) ≈ Φ ( σ b + 1/2 − n p ) − Φ ( σ a − 1/2 − n p ) . 同理,P ( S n ≥ a ) P(S_n\ge a) P ( S n ≥ a ) 使用下界 a − 1 / 2 a-1/2 a − 1/2 ,而 P ( S n > a ) P(S_n>a) P ( S n > a ) 使用 a + 1 / 2 a+1/2 a + 1/2 。
加減半個單位是有用的近似方法,並非保證正態面積精確或必然改善誤差的定理。修正要在標準化之前 進行:半個計數單位標準化後是 1 / ( 2 σ ) 1/(2\sigma) 1/ ( 2 σ ) 。
半個單位要在計數尺度上加減,即在除以 σ \sigma σ 之前;若改為在標準化後的值上加 1 / 2 1/2 1/2 ,邊界便移動了 σ / 2 \sigma/2 σ /2 個計數單位。方向由不等號決定:P ( S n ≥ a ) P(S_n\ge a) P ( S n ≥ a ) 和 P ( S n < a ) P(S_n\lt a) P ( S n < a ) 用 a − 1 / 2 a-1/2 a − 1/2 ,而 P ( S n > a ) P(S_n\gt a) P ( S n > a ) 和 P ( S n ≤ a ) P(S_n\le a) P ( S n ≤ a ) 用 a + 1 / 2 a+1/2 a + 1/2 。例如 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 時,事件 S ≥ 50 S\ge50 S ≥ 50 和 S > 50 S\gt50 S > 50 分別用 49.5 49.5 49.5 和 50.5 50.5 50.5 ,雖然兩者寫出來都是數字 50 50 50 。
固定 p p p 時,中心極限定理也可處理標準化後趨向固定值的移動門檻。
設 0 < p < 1 0<p<1 0 < p < 1 固定,Z n = ( S n − n p ) / n p q Z_n=(S_n-np)/\sqrt{npq} Z n = ( S n − n p ) / n pq 。若實數 z n z_n z n 滿足 z n → z z_n\to z z n → z ,則 P ( Z n ≤ z n ) → Φ ( z ) P(Z_n\le z_n)\to\Phi(z) P ( Z n ≤ z n ) → Φ ( z ) 。特別地,修正與不修正的正態近似有相同極限。
固定 ε > 0 \varepsilon>0 ε > 0 。對所有充分大的 n n n 有 z − ε ≤ z n ≤ z + ε z-\varepsilon\le z_n\le z+\varepsilon z − ε ≤ z n ≤ z + ε ,所以由單調性,
P ( Z n ≤ z − ε ) ≤ P ( Z n ≤ z n ) ≤ P ( Z n ≤ z + ε ) . P(Z_n\le z-\varepsilon)\le P(Z_n\le z_n)\le P(Z_n\le z+\varepsilon). P ( Z n ≤ z − ε ) ≤ P ( Z n ≤ z n ) ≤ P ( Z n ≤ z + ε ) . 由定理,兩端分別趨向 Φ ( z − ε ) \Phi(z-\varepsilon) Φ ( z − ε ) 和 Φ ( z + ε ) \Phi(z+\varepsilon) Φ ( z + ε ) ,所以中間一項的下極限和上極限都在這兩個值之間。令 ε ↓ 0 \varepsilon\downarrow0 ε ↓ 0 並用 Φ \Phi Φ 的連續性,就得 P ( Z n ≤ z n ) → Φ ( z ) P(Z_n\le z_n)\to\Phi(z) P ( Z n ≤ z n ) → Φ ( z ) 。半個計數單位只使標準化門檻移動 1 / ( 2 n p q ) → 0 1/(2\sqrt{npq})\to0 1/ ( 2 n pq ) → 0 ,正是其特例。
證明透視
極限的連續性用在哪裏 論證用了三個事實,各用一次。分佈函數對門檻的單調性把移動門檻化為兩個固定門檻;這只需要 z n z_n z n 最終落在 z z z 的 ε \varepsilon ε 範圍內,不需要任何收斂速度。接著在固定點 z ± ε z\pm\varepsilon z ± ε 應用定理,而定理也只提供這麼多。最後一步是 Φ \Phi Φ 在 z z z 處連續:它令差距 Φ ( z + ε ) − Φ ( z − ε ) \Phi(z+\varepsilon)-\Phi(z-\varepsilon) Φ ( z + ε ) − Φ ( z − ε ) 在 ε ↓ 0 \varepsilon\downarrow0 ε ↓ 0 時消失。
若極限分佈在 z z z 處有原子,這一步便會失效。在下面反例的泊松(Poisson)情況中,極限分佈函數在每個整數處跳躍,所以把門檻以趨於零的幅度移過某個整數,可以改變極限。證明完全沒有受控收斂速度,因此不給出有限樣本的誤差估計,也不保證極端尾部的相對準確度。
設 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 。平均值是 40 40 40 ,標準差是 24 ≈ 4.899 \sqrt{24}\approx4.899 24 ≈ 4.899 。事件 35 ≤ S ≤ 45 35\le S\le45 35 ≤ S ≤ 45 的修正端點為 34.5 34.5 34.5 和 45.5 45.5 45.5 ,所以
P ( 35 ≤ S ≤ 45 ) ≈ Φ ( 5.5 / 24 ) − Φ ( − 5.5 / 24 ) ≈ 0.7384. P(35\le S\le45)\approx\Phi(5.5/\sqrt{24})-\Phi(-5.5/\sqrt{24})\approx0.7384. P ( 35 ≤ S ≤ 45 ) ≈ Φ ( 5.5/ 24 ) − Φ ( − 5.5/ 24 ) ≈ 0.7384. 精確的二項和約為 0.7386 0.7386 0.7386 。另一個事件 S ≥ 50 S\ge50 S ≥ 50 要用下界 49.5 49.5 49.5 ,正態近似為 1 − Φ ( 9.5 / 24 ) ≈ 0.02624 1-\Phi(9.5/\sqrt{24})\approx0.02624 1 − Φ ( 9.5/ 24 ) ≈ 0.02624 ;精確和約為 0.02710 0.02710 0.02710 。這兩個例子的吻合程度不能保證其他參數或尾部也同樣準確。
設 S ∼ Bin ( 400 , 1 / 2 ) S\sim\operatorname{Bin}(400,1/2) S ∼ Bin ( 400 , 1/2 ) ,平均值為 200 200 200 ,標準差為 10 10 10 。對 P ( S ≥ 220 ) P(S\ge220) P ( S ≥ 220 ) ,修正邊界是 219.5 219.5 219.5 ,於是
P ( S ≥ 220 ) ≈ 1 − Φ ( 1.95 ) ≈ 0.02559. P(S\ge220)\approx1-\Phi(1.95)\approx0.02559. P ( S ≥ 220 ) ≈ 1 − Φ ( 1.95 ) ≈ 0.02559. 不作修正則用 z = 2 z=2 z = 2 ,得 1 − Φ ( 2 ) ≈ 0.02275 1-\Phi(2)\approx0.02275 1 − Φ ( 2 ) ≈ 0.02275 。精確的二項尾概率約為 0.02552 0.02552 0.02552 。這裏半個單位影響到第二位有效數字,因為它把標準化邊界移動了 0.05 0.05 0.05 ,而該處的正態密度仍然不小。
設 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 。不修正的正態近似給每個單一取值的概率都是零,因為它在同一個標準化點相減 Φ \Phi Φ 。修正後的近似把 40 40 40 處的原子攤開到 [ 39.5 , 40.5 ] [39.5,40.5] [ 39.5 , 40.5 ] :
P ( S = 40 ) ≈ Φ ( 0.5 24 ) − Φ ( − 0.5 24 ) ≈ 0.0813 , P(S=40)\approx\Phi\!\left(\frac{0.5}{\sqrt{24}}\right)-\Phi\!\left(-\frac{0.5}{\sqrt{24}}\right)\approx0.0813, P ( S = 40 ) ≈ Φ ( 24 0.5 ) − Φ ( − 24 0.5 ) ≈ 0.0813 , 而精確值 ( 100 40 ) 0.4 40 0.6 60 \binom{100}{40}0.4^{40}0.6^{60} ( 40 100 ) 0. 4 40 0. 6 60 約為 0.0812 0.0812 0.0812 。因此對單點事件,修正並非可有可無的潤飾:沒有它,近似毫無用處。它仍然沒有誤差保證;這裏準確,部分原因是 40 40 40 正是平均值。
模型或尺度改變時
反例模式
成功概率隨樣本數改變 在第 n n n 行取相互獨立的伯努利變量,每個成功概率均為 p n = 1 / n p_n=1/n p n = 1/ n 。那麼 P ( S n = 0 ) = ( 1 − 1 / n ) n → e − 1 P(S_n=0)=(1-1/n)^n\to e^{-1} P ( S n = 0 ) = ( 1 − 1/ n ) n → e − 1 ;其二項分佈反而趨向平均值為一的泊松分佈。零處的概率質量不會消失,不能單憑 n n n 很大便把計數當成近似連續。此處 n p n np_n n p n 恆為一,以上固定分佈的中心極限定理不適用。
若所有試驗都是同一個伯努利變量 X X X 的副本,計數便是 n X nX n X ,方差是 n 2 p q n^2pq n 2 pq ,而非 n p q npq n pq 。樣本數大本身不會帶來獨立資訊。
中心極限定理所得近似亦不是概率界:界在其條件下必定成立;近似有多準確則需要另外分析誤差。
練習
快速檢查
(設 S ∼ Bin ( 400 , 1 / 2 ) S\sim\operatorname{Bin}(400,1/2) S ∼ Bin ( 400 , 1/2 ) 。寫出 P ( 190 ≤ S ≤ 210 ) P(190\le S\le210) P ( 190 ≤ S ≤ 210 ) 經連續性修正的正態近似,算至小數點後三位。)
解答 · 答案 平均值為 200 200 200 ,標準差為 10 10 10 。近似值是 Φ ( 1.05 ) − Φ ( − 1.05 ) = 2 Φ ( 1.05 ) − 1 ≈ 0.706 \Phi(1.05)-\Phi(-1.05)=2\Phi(1.05)-1\approx0.706 Φ ( 1.05 ) − Φ ( − 1.05 ) = 2Φ ( 1.05 ) − 1 ≈ 0.706 。
快速檢查
(設 S ∼ Bin ( 100 , 0.4 ) S\sim\operatorname{Bin}(100,0.4) S ∼ Bin ( 100 , 0.4 ) 。分別寫出 P ( S > 50 ) P(S>50) P ( S > 50 ) 和 P ( S ≤ 50 ) P(S\le50) P ( S ≤ 50 ) 的修正正態表達式,並解釋為何相加等於一。)
解答 · 答案 分別是 1 − Φ ( 10.5 / 24 ) 1-\Phi(10.5/\sqrt{24}) 1 − Φ ( 10.5/ 24 ) 和 Φ ( 10.5 / 24 ) \Phi(10.5/\sqrt{24}) Φ ( 10.5/ 24 ) 。因為 S S S 取整數,S > 50 S>50 S > 50 和 S ≤ 50 S\le50 S ≤ 50 恰好分割樣本空間;兩個近似都使用邊界 50.5 50.5 50.5 。
快速檢查
(若 S n ∼ Bin ( n , p ) S_n\sim\operatorname{Bin}(n,p) S n ∼ Bin ( n , p ) ,且 0 < p < 1 0\lt p<1 0 < p < 1 固定,求 P ( S n ≤ n p + 2 n p ( 1 − p ) ) P(S_n\le np+2\sqrt{np(1-p)}) P ( S n ≤ n p + 2 n p ( 1 − p ) ) 的極限;按實數門檻直接理解事件。)
解答 · 答案 標準化後事件是 Z n ≤ 2 Z_n\le2 Z n ≤ 2 ,因此極限為 Φ ( 2 ) ≈ 0.97725 \Phi(2)\approx0.97725 Φ ( 2 ) ≈ 0.97725 。這個極限陳述無須把門檻取整。