9. 概率、條件概率與有限隨機變量

學習目標與有限模型

指定有限樣本空間，計算條件概率，區分互斥與獨立，並推導伯努利和的均值及方差。樣本空間 $\Omega$ 包含模型中的所有結果。為每個結果指定總和為一的非負權重 $p(\omega)$，並定義 $P(A)=\sum_{\omega\in A}p(\omega)$。只有所有權重相等時才有 $P(A)=|A|/|\Omega|$。

樣本空間 $\Omega$ 列出模型實驗的可能結果。事件是其子集。概率賦值滿足 $P(E)\ge0$、$P(\Omega)=1$ 和互斥事件的可加性；一般概率模型中該性質擴展到可數個互斥事件的並。有限樣本空間只需為各結果賦非負概率且總和為一，再將事件內結果的概率相加。

因此 $P(E^c)=1-P(E)$，且

$$P(E\cup F)=P(E)+P(F)-P(E\cap F).$$

要推導第二個恆等式，將 $E\cup F$ 分成互斥部分 $E\setminus F$、$F\setminus E$ 和 $E\cap F$，使重疊部分只計一次。

等可能計數 $P(E)=|E|/|\Omega|$ 只有在有限基本結果等可能時才有效。只列出少數具名類別並不會使它們等可能。

乘法原理計算連續選擇：若第一階段有 $m$ 種選擇，且每種都有 $n$ 種第二階段選擇，則有 $mn$ 種有序選擇。從 $n$ 個對象中有序選擇 $k$ 個不同對象有 $n(n-1)\cdots(n-k+1)=n!/(n-k)!$ 種方法。忽略順序時除以 $k!$，因為每個所選的 $k$ 元子集恰有 $k!$ 種排列。因此

$$\binom nk=\frac{n!}{k!(n-k)!},\qquad0\le k\le n.$$

對 $P(B)>0$，定義 $P(A\mid B)=P(A\cap B)/P(B)$。它在限制到事件 $B$ 後重新歸一化可能結果。由此得到 $P(A\cap B)=P(A\mid B)P(B)$。

事件 $A,B$ 獨立是指 $P(A\cap B)=P(A)P(B)$。當 $P(B)>0$ 時，這等價於 $P(A\mid B)=P(A)$。概率均為正的互斥事件不獨立：其交集為空，而各自概率的乘積為正。

若 $B_1,\ldots,B_m$ 以正概率劃分樣本空間，則

$$P(A)=\sum_iP(A\mid B_i)P(B_i).$$

這是全概率公式，通過相加互斥部分 $A\cap B_i$ 得到。若 $P(A)>0$，Bayes 公式為

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}.$$

隨機變量與期望

隨機變量 $X$ 為每個結果指定一個實數。在本有限模型中，其分布為 $p_X(x)=P(X=x)$，且

$$E[X]=\sum_xxp_X(x)=\sum_{\omega\in\Omega}X(\omega)p(\omega),\qquad \operatorname{Var}(X)=E[(X-E[X])^2].$$

將具有相同 $X$ 值的結果歸組，即得期望的兩個表達式相等。對實常數 $a,b$，分配有限的結果求和得到

$$E[aX+bY]=\sum_{\omega}(aX(\omega)+bY(\omega))p(\omega)=aE[X]+bE[Y].$$

因此線性性不需要獨立性。令 $\mu=E[X]$，利用 $E[1]=1$ 展開平方，得

$$\operatorname{Var}(X)=E[X^2]-2\mu E[X]+\mu^2E[1]=E[X^2]-E[X]^2.$$

定義聯合分布 $p_{X,Y}(x,y)=P(X=x,Y=y)$，其中逗號表示兩個事件取交集。相應事件構成互斥劃分，因此邊緣和滿足 $\sum_yp_{X,Y}(x,y)=p_X(x)$ 和 $\sum_xp_{X,Y}(x,y)=p_Y(y)$。變量 $X,Y$ 獨立，當且僅當每對取值都滿足 $p_{X,Y}(x,y)=p_X(x)p_Y(y)$。此時

$$E[XY]=\sum_x\sum_yxy\,p_{X,Y}(x,y) =\left(\sum_xxp_X(x)\right)\left(\sum_yyp_Y(y)\right)=E[X]E[Y].$$

定義協方差 $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]$。展開平方並利用線性性，證明

$$\begin{aligned} \operatorname{Var}(X+Y) &=E[X^2]+2E[XY]+E[Y^2]-(E[X]+E[Y])^2\\ &=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y). \end{aligned}$$

對具有有限二階矩的兩個隨機變量，獨立性足以保證方差相加；更一般地，它們的方差相加當且僅當協方差為零。展開和的方差會產生交叉項 $2(E[XY]-E[X]E[Y])$；變量獨立時該項為零。僅有相同邊緣分布並不能消去該項。這裏證明中的所有和均有限，重排不需要收斂假設。

Bernoulli 變量 $I$ 以概率 $p\in[0,1]$ 取一，以概率 $1-p$ 取零。因此 $E[I]=1p+0(1-p)=p$。由於 $I^2=I$，$\operatorname{Var}(I)=E[I^2]-E[I]^2=p-p^2=p(1-p)$。

設 $n$ 為非負整數，$I_1,\ldots,I_n$ 為成功概率同為 $p$ 的 Bernoulli 變量。當 $n\ge1$ 時，相互獨立的含義是：每個 $(a_1,\ldots,a_n)\in\{0,1\}^n$ 都滿足

$$P(I_1=a_1,\ldots,I_n=a_n)=\prod_{j=1}^nP(I_j=a_j).$$

這是聯合獨立，而不只是每一對獨立。令 $X=I_1+\cdots+I_n$。當 $n\ge1$ 且 $0<p<1$ 時，具有 $k$ 次成功的一個特定有序結果的概率為 $p^k(1-p)^{n-k}$。成功位置有 $\binom nk$ 種不同選擇，相應事件互斥。因此

$$P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n.$$

端點情況另行說明，不計算 $0^0$：當 $p=0$ 時，$P(X=0)=1$；當 $p=1$ 時，$P(X=n)=1$；其他取值的概率均為零。若 $n=0$，空和 $X=0$ 對每個 $p\in[0,1]$ 都以概率一成立。這些退化情況都屬於二項分布族。

當 $n\ge1$ 且 $0<p<1$ 時，由二項式定理，所示概率之和為 $(p+(1-p))^n=1$；每個退化情況的總概率也為一。由線性性，$E[X]=\sum_jE[I_j]=np$。在聯合概率分解式中對其他坐標求和，各邊緣概率之和均為一，故相互獨立蘊含兩兩獨立。因此對 $i\ne j$，$\operatorname{Cov}(I_i,I_j)=0$。展開中心化和的平方，得

$$\operatorname{Var}(X)=\sum_{j=1}^n\operatorname{Var}(I_j)+2\sum_{1\le i<j\le n}\operatorname{Cov}(I_i,I_j)=np(1-p).$$

端點及空和情況下 $X$ 為常數，期望與方差公式仍成立。不放回抽樣通常不滿足相互獨立的假設。

若 $X,Y$ 獨立，它們的聯合概率可分解，得到 $E[XY]=E[X]E[Y]$ 和 $\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$。

例題

反向條件化。 工廠從來源 A 取得 30% 的零件、從 B 取得 70%，缺陷概率分別為 4% 和 1%。模型中的缺陷概率為 $0.3(0.04)+0.7(0.01)=0.019$。已知有缺陷，來自 A 的概率是 $0.012/0.019=12/19$，不是 $0.04$。條件化反轉了信息方向，必須考慮來源頻率。

不放回抽取。 從含三個紅球、兩個藍球的袋中不放回地抽兩球。兩球均為紅色的概率是 $(3/5)(2/4)=3/10$。第二次的條件概率為 $2/4$ 而非 $3/5$，所以兩次抽取不獨立。

分層練習

1. 基礎。 擲一枚公平骰子。令 $A$ 表示偶數，$B$ 表示大於四。求 $P(A\cup B)$。
2. 核心。 對兩次公平且獨立的拋硬幣，“第一次為正面”與“恰好一次正面”是否獨立？用概率論證。
3. 核心。 五次獨立試驗的成功概率均為 $1/3$，計算 $P(X=2)$、$E[X]$ 和 $\operatorname{Var}(X)$。
4. 證明。 在有限模型中證明 $\operatorname{Var}(X)=0$ 當且僅當每個正概率結果都滿足 $X=E[X]$。

詳解

1. $P(A)=3/6$、$P(B)=2/6$、$P(A\cap B)=1/6$，因為只有結果六同時屬於兩者。因此並集概率為 $4/6=2/3$。
2. 四個等可能結果中，兩個事件的概率均為 $1/2$，交集只有 HT，概率為 $1/4$。它等於概率之積，所以事件獨立。僅靠文字上的關係不能決定獨立性。
3. $P(X=2)=\binom52(1/3)^2(2/3)^3=80/243$，期望為 $5/3$，方差為 $5(1/3)(2/3)=10/9$。
4. 方差是非負項 $(X(\omega)-E[X])^2p(\omega)$ 的和。它為零當且僅當每項為零。對 $p(\omega)>0$，這等價於 $X(\omega)=E[X]$；零概率結果沒有貢獻。反過來，該條件使每項均為零。

總結與術語

事件是結果的集合；條件概率在一個正概率事件內重新歸一化。獨立性是分解性質，不是互斥。期望是按概率加權的均值；方差是平均平方偏差。計數之前應說明隨機試驗、等可能性假設及是否放回。對概率為零的條件事件，有限比例公式並不定義條件概率。