9. 概率、条件概率与有限随机变量

学习目标与有限模型

指定有限样本空间，计算条件概率，区分互斥与独立，并推导伯努利和的均值及方差。样本空间 $\Omega$ 包含模型中的所有结果。为每个结果指定总和为一的非负权重 $p(\omega)$，并定义 $P(A)=\sum_{\omega\in A}p(\omega)$。只有所有权重相等时才有 $P(A)=|A|/|\Omega|$。

样本空间 $\Omega$ 列出模型实验的可能结果。事件是其子集。概率赋值满足 $P(E)\ge0$、$P(\Omega)=1$ 和互斥事件的可加性；一般概率模型中该性质扩展到可数个互斥事件的并。有限样本空间只需为各结果赋非负概率且总和为一，再将事件内结果的概率相加。

因此 $P(E^c)=1-P(E)$，且

$$P(E\cup F)=P(E)+P(F)-P(E\cap F).$$

要推导第二个恒等式，将 $E\cup F$ 分成互斥部分 $E\setminus F$、$F\setminus E$ 和 $E\cap F$，使重叠部分只计一次。

等可能计数 $P(E)=|E|/|\Omega|$ 只有在有限基本结果等可能时才有效。只列出少数具名类别并不会使它们等可能。

乘法原理计算连续选择：若第一阶段有 $m$ 种选择，且每种都有 $n$ 种第二阶段选择，则有 $mn$ 种有序选择。从 $n$ 个对象中有序选择 $k$ 个不同对象有 $n(n-1)\cdots(n-k+1)=n!/(n-k)!$ 种方法。忽略顺序时除以 $k!$，因为每个所选的 $k$ 元子集恰有 $k!$ 种排列。因此

$$\binom nk=\frac{n!}{k!(n-k)!},\qquad0\le k\le n.$$

对 $P(B)>0$，定义 $P(A\mid B)=P(A\cap B)/P(B)$。它在限制到事件 $B$ 后重新归一化可能结果。由此得到 $P(A\cap B)=P(A\mid B)P(B)$。

事件 $A,B$ 独立是指 $P(A\cap B)=P(A)P(B)$。当 $P(B)>0$ 时，这等价于 $P(A\mid B)=P(A)$。概率均为正的互斥事件不独立：其交集为空，而各自概率的乘积为正。

若 $B_1,\ldots,B_m$ 以正概率划分样本空间，则

$$P(A)=\sum_iP(A\mid B_i)P(B_i).$$

这是全概率公式，通过相加互斥部分 $A\cap B_i$ 得到。若 $P(A)>0$，Bayes 公式为

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}.$$

随机变量与期望

随机变量 $X$ 为每个结果指定一个实数。在本有限模型中，其分布为 $p_X(x)=P(X=x)$，且

$$E[X]=\sum_xxp_X(x)=\sum_{\omega\in\Omega}X(\omega)p(\omega),\qquad \operatorname{Var}(X)=E[(X-E[X])^2].$$

将具有相同 $X$ 值的结果归组，即得期望的两个表达式相等。对实常数 $a,b$，分配有限的结果求和得到

$$E[aX+bY]=\sum_{\omega}(aX(\omega)+bY(\omega))p(\omega)=aE[X]+bE[Y].$$

因此线性性不需要独立性。令 $\mu=E[X]$，利用 $E[1]=1$ 展开平方，得

$$\operatorname{Var}(X)=E[X^2]-2\mu E[X]+\mu^2E[1]=E[X^2]-E[X]^2.$$

定义联合分布 $p_{X,Y}(x,y)=P(X=x,Y=y)$，其中逗号表示两个事件取交集。相应事件构成互斥划分，因此边缘和满足 $\sum_yp_{X,Y}(x,y)=p_X(x)$ 和 $\sum_xp_{X,Y}(x,y)=p_Y(y)$。变量 $X,Y$ 独立，当且仅当每对取值都满足 $p_{X,Y}(x,y)=p_X(x)p_Y(y)$。此时

$$E[XY]=\sum_x\sum_yxy\,p_{X,Y}(x,y) =\left(\sum_xxp_X(x)\right)\left(\sum_yyp_Y(y)\right)=E[X]E[Y].$$

定义协方差 $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]$。展开平方并利用线性性，证明

$$\begin{aligned} \operatorname{Var}(X+Y) &=E[X^2]+2E[XY]+E[Y^2]-(E[X]+E[Y])^2\\ &=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y). \end{aligned}$$

对具有有限二阶矩的两个随机变量，独立性足以保证方差相加；更一般地，它们的方差相加当且仅当协方差为零。展开和的方差会产生交叉项 $2(E[XY]-E[X]E[Y])$；变量独立时该项为零。仅有相同边缘分布并不能消去该项。这里证明中的所有和均有限，重排不需要收敛假设。

Bernoulli 变量 $I$ 以概率 $p\in[0,1]$ 取一，以概率 $1-p$ 取零。因此 $E[I]=1p+0(1-p)=p$。由于 $I^2=I$，$\operatorname{Var}(I)=E[I^2]-E[I]^2=p-p^2=p(1-p)$。

设 $n$ 为非负整数，$I_1,\ldots,I_n$ 为成功概率同为 $p$ 的 Bernoulli 变量。当 $n\ge1$ 时，相互独立的含义是：每个 $(a_1,\ldots,a_n)\in\{0,1\}^n$ 都满足

$$P(I_1=a_1,\ldots,I_n=a_n)=\prod_{j=1}^nP(I_j=a_j).$$

这是联合独立，而不只是每一对独立。令 $X=I_1+\cdots+I_n$。当 $n\ge1$ 且 $0<p<1$ 时，具有 $k$ 次成功的一个特定有序结果的概率为 $p^k(1-p)^{n-k}$。成功位置有 $\binom nk$ 种不同选择，相应事件互斥。因此

$$P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n.$$

端点情况另行说明，不计算 $0^0$：当 $p=0$ 时，$P(X=0)=1$；当 $p=1$ 时，$P(X=n)=1$；其他取值的概率均为零。若 $n=0$，空和 $X=0$ 对每个 $p\in[0,1]$ 都以概率一成立。这些退化情况都属于二项分布族。

当 $n\ge1$ 且 $0<p<1$ 时，由二项式定理，所示概率之和为 $(p+(1-p))^n=1$；每个退化情况的总概率也为一。由线性性，$E[X]=\sum_jE[I_j]=np$。在联合概率分解式中对其他坐标求和，各边缘概率之和均为一，故相互独立蕴含两两独立。因此对 $i\ne j$，$\operatorname{Cov}(I_i,I_j)=0$。展开中心化和的平方，得

$$\operatorname{Var}(X)=\sum_{j=1}^n\operatorname{Var}(I_j)+2\sum_{1\le i<j\le n}\operatorname{Cov}(I_i,I_j)=np(1-p).$$

端点及空和情况下 $X$ 为常数，期望与方差公式仍成立。不放回抽样通常不满足相互独立的假设。

若 $X,Y$ 独立，它们的联合概率可分解，得到 $E[XY]=E[X]E[Y]$ 和 $\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$。

例题

反向条件化。 工厂从来源 A 取得 30% 的零件、从 B 取得 70%，缺陷概率分别为 4% 和 1%。模型中的缺陷概率为 $0.3(0.04)+0.7(0.01)=0.019$。已知有缺陷，来自 A 的概率是 $0.012/0.019=12/19$，不是 $0.04$。条件化反转了信息方向，必须考虑来源频率。

不放回抽取。 从含三个红球、两个蓝球的袋中不放回地抽两球。两球均为红色的概率是 $(3/5)(2/4)=3/10$。第二次的条件概率为 $2/4$ 而非 $3/5$，所以两次抽取不独立。

分层练习

1. 基础。 掷一枚公平骰子。令 $A$ 表示偶数，$B$ 表示大于四。求 $P(A\cup B)$。
2. 核心。 对两次公平且独立的抛硬币，“第一次为正面”与“恰好一次正面”是否独立？用概率论证。
3. 核心。 五次独立试验的成功概率均为 $1/3$，计算 $P(X=2)$、$E[X]$ 和 $\operatorname{Var}(X)$。
4. 证明。 在有限模型中证明 $\operatorname{Var}(X)=0$ 当且仅当每个正概率结果都满足 $X=E[X]$。

详解

1. $P(A)=3/6$、$P(B)=2/6$、$P(A\cap B)=1/6$，因为只有结果六同时属于两者。因此并集概率为 $4/6=2/3$。
2. 四个等可能结果中，两个事件的概率均为 $1/2$，交集只有 HT，概率为 $1/4$。它等于概率之积，所以事件独立。仅靠文字上的关系不能决定独立性。
3. $P(X=2)=\binom52(1/3)^2(2/3)^3=80/243$，期望为 $5/3$，方差为 $5(1/3)(2/3)=10/9$。
4. 方差是非负项 $(X(\omega)-E[X])^2p(\omega)$ 的和。它为零当且仅当每项为零。对 $p(\omega)>0$，这等价于 $X(\omega)=E[X]$；零概率结果没有贡献。反过来，该条件使每项均为零。

总结与术语

事件是结果的集合；条件概率在一个正概率事件内重新归一化。独立性是分解性质，不是互斥。期望是按概率加权的均值；方差是平均平方偏差。计数之前应说明随机试验、等可能性假设及是否放回。对概率为零的条件事件，有限比例公式并不定义条件概率。