為甚麼有限計算需要極限
無限次試驗的問題,往往可以先用有限次試驗逼近。例如「曾經成功」是「首 n 次內至少成功一次」這些事件的聯集;當 n 增加,後者逐漸擴大。要由有限事件的概率推到聯集的概率,必須先證明定理,不能假設概率與任何集合運算都能交換。
若每個 n 都有 An⊆An+1,而 A=n≥1⋃An,記作 An↑A。若 An⊇An+1,而 A=n≥1⋂An,則記作 An↓A。這些記號描述每個結果屬於哪些事件,並不只是比較數字 P(An)。
若 An↑A,則 P(An)↑P(A);若 An↓A,則 P(An)↓P(A)。
令 D1=A1,並對 n≥2 令 Dn=An∖An−1。各 Dn 兩兩不相交,聯集是 A,而首 n 個的聯集是 An。由可數可加性,
P(A)=k=1∑∞P(Dk)=n→∞limk=1∑nP(Dk)=n→∞limP(An).若事件遞減,德摩根(De Morgan)律給出 Anc↑Ac;應用遞增情況,再用 P(An)=1−P(Anc),便得結論。此補集證法用到 P(Ω)=1 為有限數;一般無限測度若沒有有限測度的假設,未必有由上連續性。
證明透視
嵌套與有限總質量用在哪裏
由下連續性的證明只用到可數可加性,而嵌套只用了一次:因為 An−1⊆An,差集 Dn 兩兩不相交,而且首 n 個重新拼成 An。關鍵一步是把 P(An) 看成非負項級數的部分和,於是極限存在,並等於全和,即 P(A)。沒有嵌套就沒有這種拆分,下面的反例說明此時任何極限結論都不再成立。
由上連續性靠補集化為遞增情況,而 P(Ω)=1 正是在這一步使用:恆等式 P(An)=1−P(Anc) 需要有限的總質量。在實數線的長度測度下,集合 An=[n,∞) 遞減至空集,但每個的長度都是無窮大,所以那裏由上連續性不成立。
假設各次試驗互相獨立,第 n 次成功概率為 pn,容許它隨 n 改變。令 An 為首 n 次至少成功一次。其補集是連續 n 次失敗,因此
P(An)=1−k=1∏n(1−pk),P(最終成功)=1−n→∞limk=1∏n(1−pk).乘積介乎零與一之間且遞減,所以極限存在。若各次成功概率固定為 p>0,乘積極限為零,最終成功的概率是一。這並不提供一個確定的最後期限:當 0<p<1,任何有限 n 的連續失敗概率 (1−p)n 仍為正。
概率為一的事件不一定就是整個樣本空間。在無限次公平擲硬幣模型中,全部都是反面的序列是可能的結果,但其概率對每個 n 都不超過 2−n,故為零。「幾乎必然」容許例外結果,並不代表這些結果在邏輯上不可能。
遞減事件的結果亦是收斂模式與強大數定律一篇中極限論證的基礎。Borel–Cantelli 引理一篇則利用上極限事件,處理另一個問題:事件是否發生無限多次。
可數個事件的界
對任意事件 B1,B2,…,
P(n=1⋃∞Bn)≤n=1∑∞P(Bn).右邊可以是無窮大;不需要獨立性。
令 C1=B1,Cn=Bn∖k<n⋃Bk。這些事件互不相交,聯集與 Bn 的聯集相同,且 Cn⊆Bn。可數可加性及單調性便給出上界。
對補集應用此上界,也得到
P(n≥1⋂Bn)≥1−n≥1∑P(Bnc).
若右邊是負數,這個下界便沒有比概率非負更有用。若每個 Bn 的概率都是一,交集的概率也是一。「可數」不可省略:若 U 在 [0,1] 上均勻分佈,每個事件 {U=x} 的概率均為一,但對所有 x∈[0,1] 取交集卻得到空集。
反例模式
概率的極限並不足夠
在 [0,1] 上取均勻概率,令 A2n−1=[0,1/2],A2n=(1/2,1]。所有 P(An)=1/2,但 n⋃An=[0,1] 的概率是一,n⋂An=∅ 的概率則是零。連續性定理要求事件互相包含,不只是概率收斂。
精確計算重疊
對有限個事件 B1,…,Bm,
P(i=1⋃mBi)=∅=I⊆{1,…,m}∑(−1)∣I∣+1P(i∈I⋂Bi).
首先加上各事件的概率,再減去兩兩交集,加回三重交集,如此類推。
固定一個恰好屬於 r 個事件的結果。若 r=0,兩邊的貢獻都是零;若 r≥1,右邊的係數為
j=1∑r(−1)j+1(jr)=1,這是二項式恆等式 (1−1)r=0 的結果。因此相應的指示函數恆等式對每個結果成立;對這個有限和取期望便得所示公式。
公式不需要獨立性,但交集概率必須依照所給模型計算。要換成無限交錯級數,則須另外論證收斂性。
從三個有標籤物件的六個排列中均勻選一個。令 Bi 為第 i 個物件留在原位的事件。每個 P(Bi)=2/6,每個兩兩交集及三重交集的概率都是 1/6。因此
P(B1∪B2∪B3)=362−361+61=32.其餘兩個排列沒有不動點。這三個事件並不獨立:知道兩件物件留在原位,第三件便必然留在原位。
對 n 個有標籤物件的均勻隨機排列,令集合 I 中每個物件都留在原位,剩下 (n−∣I∣)! 個排列,所以 P(i∈I⋂Bi)=(n−∣I∣)!/n!。大小為 j 的集合有 (jn) 個,而 (jn)(n−j)!/n!=1/j!。因此容斥原理給出
P(i=1⋃nBi)=j=1∑nj!(−1)j+1.n=4 時,這是 1−21+61−241=85,即 24 個排列中有 15 個有不動點,9 個沒有。若只計首兩組和,會得到 1/2,並不是答案:有限公式的每一項都不可少。n=3 時,公式給出上例的 2/3。
在三個物件的例子中,把各自的概率相加得 3⋅31=1,等於斷言每個排列都有物件留在原位。兩個循環排列沒有不動點;正確值 2/3 已減去重疊部分。和 i∑P(Bi) 只是上界;只有當所有兩兩交集的概率均為零時,它才等於聯集的概率。
練習
快速檢查
(在 [0,1] 的均勻概率下,令 An=(0,1/n)。找出交集,並用由上連續性計算其概率。)
解答 · 答案
交集是空集:任何 x>0 最終會大於 1/n,而零從未包含在內。事件遞減且 P(An)=1/n→0,由連續性得概率零。
快速檢查
(事件 En 滿足 P(En)≤2−n−1,其中 n≥1。求至少一個發生的概率上界及一個也不發生的概率下界。是否需要獨立性?)
解答 · 答案
幾何級數之和為 1/2。聯集界給出 P(⋃En)≤1/2,故其補集概率至少為 1/2;不需要獨立性。
快速檢查
(三個事件滿足 P(Bi)=1/2,所有兩兩交集概率都是 1/4,三重交集概率為 1/8。求至少一個發生的概率。計算是否用到獨立性假設?)
解答 · 答案
容斥給出 3/2−3/4+1/8=7/8。所提供的交集概率已足夠;公式本身不假設獨立性。
快速檢查
(獨立試驗中第 n 次的成功概率為 pn=1/(n+1)。求首 n 次均未成功的概率,以及最終成功的概率。)
解答 · 答案
乘積消去後得 k=1∏nk/(k+1)=1/(n+1)。由連續性,永不成功的概率是零,故最終成功的概率是一;每個有限時刻的失敗概率仍為正。