5. 概率基礎與計數模型——歷史選修拓展

學習目標與準備

本章以分數、有限和、初等集合以及第 3 章積分為基礎，最後聯繫連續模型。我們從事件及其假設發展初等概率，而不是直接套用未經解釋的計數公式。你將區分互斥與獨立、正確使用條件信息，並推導二項模型及其矩。

歷史選修拓展。 本章是歷史背景下的選修拓展。

數值例子均為假設的抽樣或製造模型。概率描述模型假設，不能證明實際檢驗過程或經驗次品率。

5.1 樣本空間與事件

樣本空間 $\Omega$ 列出模型實驗的可能結果。事件是其子集。概率賦值滿足 $P(E)\ge0$、$P(\Omega)=1$ 和互斥事件的可加性；一般概率模型中該性質擴展到可數個互斥事件的並。有限樣本空間只需為各結果賦非負概率且總和為一，再將事件內結果的概率相加。

因此 $P(E^c)=1-P(E)$，且

$$P(E\cup F)=P(E)+P(F)-P(E\cap F).$$

要推導第二個恆等式，將 $E\cup F$ 分成互斥部分 $E\setminus F$、$F\setminus E$ 和 $E\cap F$，使重疊部分只計一次。

等可能計數 $P(E)=|E|/|\Omega|$ 只有在有限基本結果等可能時才有效。只列出少數具名類別並不會使它們等可能。

例 1：類別不是基本結果。 兩次獨立公平拋硬幣有四個等可能有序結果：HH、HT、TH、TT。正面次數為 $0,1,2$，但這三個類別並非等可能。其概率為 $1/4,1/2,1/4$，因為中間類別包含兩個有序結果。

5.2 有序與無序計數

乘法原理計算連續選擇：若第一階段有 $m$ 種選擇，且每種都有 $n$ 種第二階段選擇，則有 $mn$ 種有序選擇。從 $n$ 個對象中有序選擇 $k$ 個不同對象有 $n(n-1)\cdots(n-k+1)=n!/(n-k)!$ 種方法。忽略順序時除以 $k!$，因為每個所選的 $k$ 元子集恰有 $k!$ 種排列。因此

$$\binom nk=\frac{n!}{k!(n-k)!},\qquad0\le k\le n.$$

例 2：不放回抽樣。 五個對象中有兩個次品、三個合格品。均勻地不放回選取兩個，有 $\binom52=10$ 個等可能無序樣本。兩個次品、一好一次和兩個合格品的概率分別為

$$\frac{\binom22\binom30}{10}=\frac1{10},\qquad \frac{\binom21\binom31}{10}=\frac6{10},\qquad \frac{\binom20\binom32}{10}=\frac3{10}.$$

這些概率之和為一。把連續抽取視為獨立是錯誤的，因為第一次抽取改變了剩餘組成。

5.3 條件概率與獨立性

對 $P(B)>0$，定義 $P(A\mid B)=P(A\cap B)/P(B)$。它在限制到事件 $B$ 後重新歸一化可能結果。由此得到 $P(A\cap B)=P(A\mid B)P(B)$。

事件 $A,B$ 獨立是指 $P(A\cap B)=P(A)P(B)$。當 $P(B)>0$ 時，這等價於 $P(A\mid B)=P(A)$。概率均為正的互斥事件不獨立：其交集為空，而各自概率的乘積為正。

例 3：第二次抽取發生變化。 在例 2 中，第一次抽到次品的概率為 $2/5$。已知第一次為次品，第二次為次品的概率為 $1/4$。因此兩次均為次品的概率為 $(2/5)(1/4)=1/10$，與無序計數一致。由對稱性，第二次抽到次品的無條件概率仍為 $2/5$，但觀察到第一次結果後，其條件概率不同。

若 $B_1,\ldots,B_m$ 以正概率劃分樣本空間，則

$$P(A)=\sum_iP(A\mid B_i)P(B_i).$$

這是全概率公式，通過相加互斥部分 $A\cap B_i$ 得到。若 $P(A)>0$，Bayes 公式為

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}.$$

例 4：反轉檢驗條件。 假設某批虛構產品中 $2\%$ 為次品。檢驗標記了 $90\%$ 的次品及 $5\%$ 的合格品。被標記的概率為 $0.9(0.02)+0.05(0.98)=0.067$；已知被標記時為次品的概率為 $0.018/0.067=18/67$，約為 $0.269$。它不是 $0.9$，因為後者以不同事件為條件。儘管單個合格品被誤標的概率較低，數量眾多的合格品仍會產生大量誤標。

5.4 隨機變量與期望

隨機變量 $X$ 為每個結果指定一個實數。在有限模型中，其分布為 $p_X(x)=P(X=x)$，並且

$$E[X]=\sum_xxp_X(x),\qquad \operatorname{Var}(X)=E[(X-E[X])^2]=E[X^2]-E[X]^2.$$

方差恆等式由展開平方並利用概率總和為一得到。期望具有線性：$E[aX+bY]=aE[X]+bE[Y]$，不需要獨立性。這可通過對聯合結果求和並分配有限和得到。

對具有有限二階矩的兩個隨機變量，獨立性足以保證方差相加；更一般地，它們的方差相加當且僅當協方差為零。展開和的方差會產生交叉項 $2(E[XY]-E[X]E[Y])$；變量獨立時該項為零。僅有相同邊緣分布並不能消去該項。

例 5：初等分布。 若 $X$ 以概率 $1/4,1/2,1/4$ 取值 $0,1,2$，則 $E[X]=1$、$E[X^2]=3/2$，方差為 $1/2$。期望是概率加權平均，不一定是最可能值，也不一定每次實驗都觀察到。

5.5 Bernoulli 與二項模型

Bernoulli 變量 $I$ 以概率 $p$ 取一、以概率 $1-p$ 取零。由於 $I^2=I$，其均值為 $p$，方差為 $p-p^2=p(1-p)$。

對 $n$ 次成功概率均為 $p$ 的獨立試驗，令 $X=I_1+\cdots+I_n$。一個具有 $k$ 次成功的特定有序結果的概率為 $p^k(1-p)^{n-k}$，而安排成功位置有 $\binom nk$ 種方式。因此

$$P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n.$$

這就是二項分布。由二項式定理，概率之和為 $(p+(1-p))^n=1$。線性性給出 $E[X]=np$；獨立性使交叉協方差為零，方差為 $np(1-p)$。不放回抽樣通常不滿足獨立性假設。

例 6：至少發生一次。 四次獨立試驗各有成功概率 $0.1$，至少成功一次的概率為 $1-(0.9)^4=0.3439$。使用補事件可避免分別相加四個正計數項。計數均值為 $0.4$，方差為 $0.36$；兩者都不是某一特定結果的概率。

5.6 聯繫離散與連續模型

累積分布函數為 $F(x)=P(X\le x)$。對離散變量，它在對應點跳躍，跳躍大小為 $P(X=x)$。在連續密度模型中，$F(x)=\int_{-\infty}^xp(t)dt$，其中 $p\ge0$ 且總積分為一。因此單點概率為零，但區間可具有正概率。

當積分適當收斂時，期望變為積分 $\int xp(x)dx$，如第 3 章所述。密度值不是點概率，連續圖像未經歸一化也不是密度。離散與連續模型是不同數學描述，其適用性取決於應用。

5.7 分層練習

基礎

1. 若 $P(A)=0.4$、$P(B)=0.5$、$P(A\cap B)=0.2$，求 $P(A\cup B)$ 並判斷獨立性。
2. 從六個不同對象中可選多少無序對？不放回時可選多少有序對？
3. 解釋為甚麼概率各為 $1/3$ 的互斥事件不可能獨立。

核心

4. 一盒含三個紅色、兩個藍色對象，不放回抽取兩個。用條件概率及組合兩種方法求兩次均為紅色的概率。
5. 若 $P(B)=0.2$、$P(A\mid B)=0.8$、$P(A\mid B^c)=0.1$，求 $P(A)$ 和 $P(B\mid A)$。
6. 當 $X$ 以概率 $3/4,1/4$ 取值 $0,2$ 時，求均值和方差。
7. 五次獨立試驗的成功概率為 $1/2$，求 $P(X=2)$、$E[X]$ 和方差。
8. Bernoulli 變量 $I$ 的成功概率為 $p$，其中 $0\le p\le1$。直接計算 $\operatorname{Var}(2I)$ 並與 $2\operatorname{Var}(I)$ 比較，說明何時不同。

綜合

9. 有限隨機變量的 CDF 在 $x<0$ 為 $F(x)=0$，在 $0\le x<1$ 為 $1/4$，在 $1\le x<2$ 為 $3/4$，在 $x\ge2$ 為一。恢復其分布及期望。
10. 若有人用二項分布描述從小盒中不放回抽兩次的次品數，哪個假設失效？利用例 2 比較實際兩次均為次品的概率與獨立試驗預測。

5.8 完整解答

1. 並集概率為 $0.4+0.5-0.2=0.7$。由於 $0.4(0.5)=0.2$，在所給概率下兩事件獨立。
2. 無序對有 $\binom62=15$ 個；不放回有序對有 $6\cdot5=30$ 個。
3. 交集概率為零，而各自概率之積為 $1/9>0$，違反獨立性。
4. 條件概率法得 $(3/5)(2/4)=3/10$；計數法得 $\binom32/\binom52=3/10$。兩種方法相符，互為驗證。
5. 全概率為 $0.8(0.2)+0.1(0.8)=0.24$；Bayes 公式給出 $P(B\mid A)=0.16/0.24=2/3$。
6. $E[X]=2(1/4)=1/2$ 且 $E[X^2]=4(1/4)=1$，方差為 $1-1/4=3/4$。
7. $P(X=2)=\binom52/2^5=10/32=5/16$，均值為 $5/2$，方差為 $5(1/2)(1/2)=5/4$。
8. 由於 $E[2I]=2p$ 且 $E[(2I)^2]=4p$，方差為 $4p-4p^2=4p(1-p)$，而原方差的兩倍為 $2p(1-p)$。當 $0<p<1$ 時二者不同；當 $p=0$ 或 $p=1$ 時二者均為零。變量縮放使離差平方按縮放因子的平方變化。等價地，非退化情形下 $2I=I+I$ 相加的是完全依賴的副本；在兩個端點，副本是常變量且相互獨立。
9. CDF 的跳躍給出零處概率 $1/4$、一處概率 $1/2$、二處概率 $1/4$。期望為 $0+1/2+1/2=1$。
10. 連續抽取不獨立，因為剩餘組成變化。五個對象中有兩個次品時，實際概率為 $(2/5)(1/4)=1/10$。以不變的 $p=2/5$ 建立二項模型會得到 $(2/5)^2=4/25$，該值不同且缺乏依據。

總結與後續聯繫

概率模型需要結果和明確假設。等可能計數只適用於等可能的基本結果。條件概率限制並重新歸一化；獨立不等於互斥。Bayes 公式借助基礎概率反轉條件。期望線性不需要獨立性，方差相加則需要依賴信息。二項公式要求固定次數、獨立且成功概率相同的試驗；連續密度公式使用積分。