動機
概率為不完整資訊提供語言。同一結果可能屬於多個事件,因此計數時必須處理重疊。模型亦區分觀察之前與之後所掌握的資訊。
定義
事件與模型
計算之前,先選擇樣本空間 Ω:其中每一點都是足以回答問題的一個結果。事件是結果的集合。有限實驗中可以把每個子集都視為事件;無限空間則指定一個包含 Ω、並對補集及可數聯集封閉的事件族 F。這樣可以建立一致的概率理論,而不必為每一個子集指定概率。
概率空間是三元組 (Ω,F,P),其中 F 是如上的事件族,而 P:F→[0,1] 滿足 P(A)≥0、P(Ω)=1,並且對兩兩互斥的事件 A1,A2,…,有
P(n=1⋃∞An)=n=1∑∞P(An).
最後一條稱為可數可加性。模型本身是一項假設;例如「各結果等可能」必須由實驗加以支持,不能單憑「隨機」一詞推論。
對事件 A,B,有 P(Ac)=1−P(A) 和 P(A∪B)=P(A)+P(B)−P(A∩B)。若 A⊆B,則 P(A)≤P(B)。
從某個下標起取 An=∅,可數可加性便適用於有限多個互斥事件;P(∅)=0,否則 Ω=Ω∪∅∪∅∪⋯ 的概率會是無窮大。首先,A 與 Ac 不相交且聯集是 Ω,故 1=P(A)+P(Ac)。其次,把 A∪B 分成不相交的 A 和 B∖A,得 P(A∪B)=P(A)+P(B∖A);又 B 是 B∖A 與 A∩B 的不相交聯集,所以 P(B∖A)=P(B)−P(A∩B),代入即得加法公式。最後,若 A⊆B,則 B=A∪(B∖A) 且兩項不相交,由概率非負得 P(B)=P(A)+P(B∖A)≥P(A)。加法公式減去交集,是為修正重複計算。
裝置輸出 0,1,2 的概率分別為 1/2,1/3,1/6。令 A={0,1},B={1,2},則 P(A)=5/6、P(B)=1/2、P(A∩B)=1/3。加法公式給出 P(A∪B)=5/6+1/2−1/3=1。不能因 A 包含三個結果中的兩個就說其概率是 2/3,因為結果並非等可能。
證明思路
上面的論證從公理推出公式,而非把每條公式當作獨立規則。引入觀察後,這些互斥分解仍會反覆出現。
條件概率與分割
已知 P(B)>0 且 B 發生時,A 的條件概率定義為
P(A∣B)=P(B)P(A∩B).
這是在 B 內重新標準化,並非更改原來的概率測度。若 P(B)=0,上述比值沒有定義。較進階的條件分佈可處理某些零概率觀察,但不能單靠這個比值。
概念視角結構
條件化產生一個新的概率測度
固定 P(B)>0 的 B,記 PB(A)=P(A∣B)。則 PB 本身是 (Ω,F) 上的概率測度:它非負,PB(Ω)=P(B)/P(B)=1;對互斥的 A1,A2,…,集合 An∩B 亦互斥,聯集為 (n⋃An)∩B,所以可數可加性傳遞到 PB。因此公理的每一個推論都可在條件下使用,例如 P(Ac∣B)=1−P(A∣B)。新測度給 Bc 的概率為零;若再以 C 作條件且 P(B∩C)>0,則
PB(C)PB(A∩C)=P(B∩C)P(A∩B∩C)=P(A∣B∩C),即先後兩次觀察,等於一次觀察兩者的交集。
改寫定義得到乘法公式 P(A∩B)=P(A∣B)P(B)。把它逐格應用到一個分割上,便得到觀察後更新模型所用的兩條公式。
定理 1.1.5
(全概率公式與貝葉斯(Bayes)公式)
設 H1,…,Hk 是 Ω 的分割,且每個 P(Hi)>0;設 B 為事件。則
P(B)=i=1∑kP(B∣Hi)P(Hi).若再有 P(B)>0,則對每個 j,
P(Hj∣B)=∑i=1kP(B∣Hi)P(Hi)P(B∣Hj)P(Hj).
因為各 Hi 互不相交,集合 B∩H1,…,B∩Hk 亦互不相交,聯集為 B∩Ω=B。由可加性及乘法公式,P(B)=i∑P(B∩Hi)=i∑P(B∣Hi)P(Hi)。當 P(B)>0,由定義得 P(Hj∣B)=P(B∩Hj)/P(B)=P(B∣Hj)P(Hj)/P(B),再以第一式代入 P(B),即得貝葉斯(Bayes)公式。
分母計及觀察到 B 的所有途徑,而不只是正在考察的假設。先驗概率為零的分割項對總和的貢獻為零,可從這個以條件概率表達的總和中省略。
零件以概率 1/4 來自生產線 H1,否則來自 H2。來自 H1 時出現警告的概率為 1/5,來自 H2 時為 1/15。警告的總概率為 (1/4)(1/5)+(3/4)(1/15)=1/10。已知警告,來自 H1 的概率為 (1/20)/(1/10)=1/2。警告把先驗概率加倍,但並未使來源確定。
概念視角代數
貝葉斯公式:先驗勝算乘以似然比
對兩個假設,若 P(B)>0 且 P(B∣H2)>0,把 H1 的貝葉斯公式除以 H2 的,共同分母便約去:
P(H2∣B)P(H1∣B)=P(B∣H2)P(B∣H1)⋅P(H2)P(H1).後驗勝算等於先驗勝算乘以似然比。上例中先驗勝算是 1/3,似然比是 (1/5)/(1/15)=3,所以後驗勝算為 1,即 P(H1∣B)=1/2。
獨立性是模型的性質
若 P(A∩B)=P(A)P(B),事件 A,B 便獨立。若對每組下標 1≤i1<⋯<ik≤n(k≥2)都有
P(Ai1∩⋯∩Aik)=P(Ai1)⋯P(Aik),則稱事件 A1,…,An 互相獨立。
對兩個事件,當 P(B)>0,乘積公式等價於 P(A∣B)=P(A);乘積定義在零概率事件下仍有意義。獨立性是對稱的,條件概率的記號則有方向。兩個概率皆正且互斥的事件不可能獨立:交集概率是零,乘積卻是正數。
多個事件互相獨立,要求每個子族都滿足乘積公式,而不只每一對。
反例模式
兩兩獨立不等於互相獨立
聲稱:若 A,B,C 中每一對都獨立,三者便互相獨立。取兩個獨立公平二元變量 X,Y,四個結果 (x,y) 的概率各為 1/4;令 A={X=0}、B={Y=0}、C={X=Y}={(0,0),(1,1)}。每個事件的概率都是 1/2。每對的交集都是單一結果 (0,0):A∩B、A∩C、B∩C 都等於 {(0,0)},概率為 1/4=(1/2)(1/2)。但 A∩B∩C={(0,0)} 的概率亦是 1/4,而非 1/8。聲稱不成立;三個事件互相獨立需要三條兩兩等式再加三重等式,正如定義所列。
知道其中任意兩個事件是否發生,便確定第三個,所以三重乘積公式失效。
重複抽樣與分母
樣本空間必須記錄抽樣方法。不放回抽樣時,第一次抽取會改變第二次的條件分佈;放回抽樣則在每次之前恢復原有組成,但獨立性仍是模型的性質,不能單憑「放回」一詞斷定。
若 P(A1∩⋯∩An−1)>0,則
P(A1∩⋯∩An)=P(A1)j=2∏nP(Aj∣A1∩⋯∩Aj−1).
記 Bj=A1∩⋯∩Aj。當 j≤n−1 時 Bn−1⊆Bj,由單調性得 P(Bj)≥P(Bn−1)>0,所以乘積中每個條件概率都有定義。由條件概率的定義,P(Aj∣Bj−1)=P(Bj)/P(Bj−1),於是
P(A1)j=2∏nP(Bj−1)P(Bj)=P(B1)⋅P(B1)P(B2)⋯P(Bn−1)P(Bn)=P(Bn).若所需條件事件概率為零,該公式沒有定義,雖然此時交集本身的概率亦為零。
袋中有三個藍球和兩個綠球,均勻地不放回抽兩次。兩次都是藍球的概率為 (3/5)(2/4)=3/10:取走一個藍球後,餘下四球中只有兩個藍球。恰有一個藍球的概率是 (3/5)(2/4)+(2/5)(3/4)=3/5,兩項代表互斥的次序。若每次抽後放回,兩藍的概率則為 (3/5)2。這是實驗改變,而不是算術修正。
可作一個檢查:所有下一結果的條件概率應合計為一。此例抽到藍球後,下一球是藍或綠的概率各為 2/4。應始終在指定條件事件內計算,不要混用不同階段的分母。
P(A∣B) 和 P(B∣A) 通常有不同分母。在警告例子中,前者可以描述已知警告後的來源,後者則描述已知來源後的警告。必須提供先驗概率和總概率,才可用貝葉斯公式轉換。
等可能結果的計數
有限樣本空間中的結果若全都等可能,公理迫使每一個結果的概率等於 1/∣Ω∣,所以 P(A)=∣A∣/∣Ω∣。這是把 A 中各單點的概率相加得到的。重要工作是選擇真正等可能的樣本空間。例如兩顆以顏色區分的公平骰子有 36 個等可能有序對,但二至十二的點數和並非等可能,因為不同和對應的有序對數目不同。
和為七的有序對是 (1,6),(2,5),(3,4),(4,3),(5,2),(6,1),共 36 個等可能結果中的六個,故概率為 1/6。和為二只有 (1,1),概率為 1/36。若把十一個可能的和視為等可能,便會得到各為 1/11,與有序對模型矛盾。
即使次序無法觀察,有序表示仍可供計算。若每個固定大小的無序選取對應相同數量的有序序列,兩種表示都可用,但分子與分母必須採用相同約定。若分子用有序計數、分母用無序計數,或忽略各結果的不同重數,便會出錯。
例如從十個不同球中均勻地不放回抽三個,其中四個是紅球。恰有兩紅的概率為
(310)(24)(16)=12036=103.
分子先選兩個紅球,再選一個非紅球,每個無序選取恰計一次。也可用有序計法:非紅球有三個位置,各位置的概率為 (4/10)(3/9)(6/8),相加得相同答案。零、一、二、三個紅球的概率合共應為一,可用作檢查。
補事件與重複試驗
「至少一次」有時更易由補事件計算。若獨立試驗中每次成功概率為 p,n 次中至少一次成功的概率為 1−(1−p)n。補事件是全部失敗,互相獨立才容許使用乘積。只有相同邊際概率不足以支持此公式。例如每次都沿用同一個公平硬幣結果時,至少一次正面的概率仍是 1/2,而非 1−2−n。
儀器在四次掃描中獨立地各以 1/3 概率偵測信號。至少偵測一次的概率是 1−(2/3)4=65/81。恰偵測一次的概率是 4(1/3)(2/3)3=32/81:先選成功的掃描,再乘該次序的概率。「至少一次」亦包含二、三、四次成功,與「恰一次」不同。
有人會說:四次掃描各以 1/3 偵測,至少偵測一次的概率是 4⋅(1/3)=4/3。大於一的數不可能是概率。「第 i 次偵測到」這些事件互相重疊,必須扣除重疊部分才可相加。補事件的方法避開這個問題:1−(2/3)4=65/81。和 np 只是至少一次成功的概率的上界。
條件化可改變相依性
觀察第三個事件後,原有獨立性可能消失。取兩個獨立公平二元變量,並以至少一個為一作條件。此時 (1,0),(0,1),(1,1) 三個結果等可能。每個變量等於一的條件概率為 2/3,但兩者同時為一的條件概率為 1/3。因 1/3=(2/3)2,給定此事件後兩者並不獨立。觀察排除了 (0,0),從而連結兩個可能值。觀察前的獨立性,在限制到已觀察事件後不一定保留。
反向現象亦可能發生:混合模型中觀察到的相依性,在給定共同原因後可以消失。應清楚寫明條件概率所依據的資訊。貝葉斯公式不要求獨立,它由乘法公式和分割推出;獨立性是額外假設,可能簡化某些項,但必須有理由,不能為了方便計算而加入。
以界限檢查模型
代入公式前,先檢查輸入概率能否來自任何聯合模型。因 A∩B 同時包含於兩個事件,P(A∩B)≤min(P(A),P(B))。加法公式及 P(A∪B)≤1 又給出 P(A∩B)≥P(A)+P(B)−1,非負性提供另一個下界零。合併後得到
max(0,P(A)+P(B)−1)≤P(A∩B)≤min(P(A),P(B)).
例如 P(A)=0.8、P(B)=0.7 時,交集概率 0.2 不可能,因為下界是 0.5。交集概率 0.6 則符合界限:可依次給 A∩B、A∩Bc、Ac∩B 和兩者皆不發生的四格概率 0.6,0.2,0.1,0.1。各格非負且總和為一,構成有限模型。此構造證明此特定選擇相容,卻不證明獨立:獨立要求交集概率為 0.56。
若 P(A)>0,把交集界限除以 P(A) 亦可約束 P(B∣A)。這些檢查可在計算前發現不可能的輸入,但不能單憑兩個邊際概率確定交集的精確值;還需其他資訊或假設。
再看 P(A)=0.8、P(B)=0.7。若獨立,交集為 0.56,聯集為 0.94;若 B⊆A,交集為 0.7,聯集為 0.8。兩者的邊際概率相同。僅指定邊際概率時,聯集可有不同答案:事件間的關係也是題目資料。若不清楚已知甚麼、假設甚麼,可畫四格表檢查。
總結
事件是指定概率模型中的集合;條件概率把符合觀察的部分重新標準化,獨立性則是乘積等式。互斥與獨立不同,兩兩獨立也弱於互相獨立。
練習
快速檢查
(擲公平骰子。A 是偶數,B 是大於三的結果。求 P(A∣B),並判斷 A 與 B 是否獨立。)
解答 · 答案
B={4,5,6},A∩B={4,6},所以 P(A∣B)=(2/6)/(3/6)=2/3。因 P(A)=1/2=2/3,兩事件不獨立。
快速檢查
(選第一、第二個盒的概率分別是 2/5,3/5;從兩盒抽到紅球的條件概率分別為 3/4,1/3。已知紅球,求選第一盒的概率。)
解答 · 答案
由全概率公式,紅球概率為 (2/5)(3/4)+(3/5)(1/3)=3/10+1/5=1/2。貝葉斯公式給出選第一盒的概率 (3/10)/(1/2)=3/5。
快速檢查
(若 P(A)=0.6、P(B)=0.5、P(A∪B)=0.8,求 P(A∩B) 和 P(Ac∩B)。)
解答 · 答案
加法公式得 P(A∩B)=0.6+0.5−0.8=0.3。把 B 分成 A∩B 與 Ac∩B,得 P(Ac∩B)=0.5−0.3=0.2。