5. 概率基础与计数模型——历史选修拓展

学习目标与准备

本章以分数、有限和、初等集合以及第 3 章积分为基础，最后联系连续模型。我们从事件及其假设发展初等概率，而不是直接套用未经解释的计数公式。你将区分互斥与独立、正确使用条件信息，并推导二项模型及其矩。

历史选修拓展。 本章是历史背景下的选修拓展。

数值例子均为假设的抽样或制造模型。概率描述模型假设，不能证明实际检验过程或经验次品率。

5.1 样本空间与事件

样本空间 $\Omega$ 列出模型实验的可能结果。事件是其子集。概率赋值满足 $P(E)\ge0$、$P(\Omega)=1$ 和互斥事件的可加性；一般概率模型中该性质扩展到可数个互斥事件的并。有限样本空间只需为各结果赋非负概率且总和为一，再将事件内结果的概率相加。

因此 $P(E^c)=1-P(E)$，且

$$P(E\cup F)=P(E)+P(F)-P(E\cap F).$$

要推导第二个恒等式，将 $E\cup F$ 分成互斥部分 $E\setminus F$、$F\setminus E$ 和 $E\cap F$，使重叠部分只计一次。

等可能计数 $P(E)=|E|/|\Omega|$ 只有在有限基本结果等可能时才有效。只列出少数具名类别并不会使它们等可能。

例 1：类别不是基本结果。 两次独立公平抛硬币有四个等可能有序结果：HH、HT、TH、TT。正面次数为 $0,1,2$，但这三个类别并非等可能。其概率为 $1/4,1/2,1/4$，因为中间类别包含两个有序结果。

5.2 有序与无序计数

乘法原理计算连续选择：若第一阶段有 $m$ 种选择，且每种都有 $n$ 种第二阶段选择，则有 $mn$ 种有序选择。从 $n$ 个对象中有序选择 $k$ 个不同对象有 $n(n-1)\cdots(n-k+1)=n!/(n-k)!$ 种方法。忽略顺序时除以 $k!$，因为每个所选的 $k$ 元子集恰有 $k!$ 种排列。因此

$$\binom nk=\frac{n!}{k!(n-k)!},\qquad0\le k\le n.$$

例 2：不放回抽样。 五个对象中有两个次品、三个合格品。均匀地不放回选取两个，有 $\binom52=10$ 个等可能无序样本。两个次品、一好一次和两个合格品的概率分别为

$$\frac{\binom22\binom30}{10}=\frac1{10},\qquad \frac{\binom21\binom31}{10}=\frac6{10},\qquad \frac{\binom20\binom32}{10}=\frac3{10}.$$

这些概率之和为一。把连续抽取视为独立是错误的，因为第一次抽取改变了剩余组成。

5.3 条件概率与独立性

对 $P(B)>0$，定义 $P(A\mid B)=P(A\cap B)/P(B)$。它在限制到事件 $B$ 后重新归一化可能结果。由此得到 $P(A\cap B)=P(A\mid B)P(B)$。

事件 $A,B$ 独立是指 $P(A\cap B)=P(A)P(B)$。当 $P(B)>0$ 时，这等价于 $P(A\mid B)=P(A)$。概率均为正的互斥事件不独立：其交集为空，而各自概率的乘积为正。

例 3：第二次抽取发生变化。 在例 2 中，第一次抽到次品的概率为 $2/5$。已知第一次为次品，第二次为次品的概率为 $1/4$。因此两次均为次品的概率为 $(2/5)(1/4)=1/10$，与无序计数一致。由对称性，第二次抽到次品的无条件概率仍为 $2/5$，但观察到第一次结果后，其条件概率不同。

若 $B_1,\ldots,B_m$ 以正概率划分样本空间，则

$$P(A)=\sum_iP(A\mid B_i)P(B_i).$$

这是全概率公式，通过相加互斥部分 $A\cap B_i$ 得到。若 $P(A)>0$，Bayes 公式为

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}.$$

例 4：反转检验条件。 假设某批虚构产品中 $2\%$ 为次品。检验标记了 $90\%$ 的次品及 $5\%$ 的合格品。被标记的概率为 $0.9(0.02)+0.05(0.98)=0.067$；已知被标记时为次品的概率为 $0.018/0.067=18/67$，约为 $0.269$。它不是 $0.9$，因为后者以不同事件为条件。尽管单个合格品被误标的概率较低，数量众多的合格品仍会产生大量误标。

5.4 随机变量与期望

随机变量 $X$ 为每个结果指定一个实数。在有限模型中，其分布为 $p_X(x)=P(X=x)$，并且

$$E[X]=\sum_xxp_X(x),\qquad \operatorname{Var}(X)=E[(X-E[X])^2]=E[X^2]-E[X]^2.$$

方差恒等式由展开平方并利用概率总和为一得到。期望具有线性：$E[aX+bY]=aE[X]+bE[Y]$，不需要独立性。这可通过对联合结果求和并分配有限和得到。

对具有有限二阶矩的两个随机变量，独立性足以保证方差相加；更一般地，它们的方差相加当且仅当协方差为零。展开和的方差会产生交叉项 $2(E[XY]-E[X]E[Y])$；变量独立时该项为零。仅有相同边缘分布并不能消去该项。

例 5：初等分布。 若 $X$ 以概率 $1/4,1/2,1/4$ 取值 $0,1,2$，则 $E[X]=1$、$E[X^2]=3/2$，方差为 $1/2$。期望是概率加权平均，不一定是最可能值，也不一定每次实验都观察到。

5.5 Bernoulli 与二项模型

Bernoulli 变量 $I$ 以概率 $p$ 取一、以概率 $1-p$ 取零。由于 $I^2=I$，其均值为 $p$，方差为 $p-p^2=p(1-p)$。

对 $n$ 次成功概率均为 $p$ 的独立试验，令 $X=I_1+\cdots+I_n$。一个具有 $k$ 次成功的特定有序结果的概率为 $p^k(1-p)^{n-k}$，而安排成功位置有 $\binom nk$ 种方式。因此

$$P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n.$$

这就是二项分布。由二项式定理，概率之和为 $(p+(1-p))^n=1$。线性性给出 $E[X]=np$；独立性使交叉协方差为零，方差为 $np(1-p)$。不放回抽样通常不满足独立性假设。

例 6：至少发生一次。 四次独立试验各有成功概率 $0.1$，至少成功一次的概率为 $1-(0.9)^4=0.3439$。使用补事件可避免分别相加四个正计数项。计数均值为 $0.4$，方差为 $0.36$；两者都不是某一特定结果的概率。

5.6 联系离散与连续模型

累积分布函数为 $F(x)=P(X\le x)$。对离散变量，它在对应点跳跃，跳跃大小为 $P(X=x)$。在连续密度模型中，$F(x)=\int_{-\infty}^xp(t)dt$，其中 $p\ge0$ 且总积分为一。因此单点概率为零，但区间可具有正概率。

当积分适当收敛时，期望变为积分 $\int xp(x)dx$，如第 3 章所述。密度值不是点概率，连续图像未经归一化也不是密度。离散与连续模型是不同数学描述，其适用性取决于应用。

5.7 分层练习

基础

1. 若 $P(A)=0.4$、$P(B)=0.5$、$P(A\cap B)=0.2$，求 $P(A\cup B)$ 并判断独立性。
2. 从六个不同对象中可选多少无序对？不放回时可选多少有序对？
3. 解释为什么概率各为 $1/3$ 的互斥事件不可能独立。

核心

4. 一盒含三个红色、两个蓝色对象，不放回抽取两个。用条件概率及组合两种方法求两次均为红色的概率。
5. 若 $P(B)=0.2$、$P(A\mid B)=0.8$、$P(A\mid B^c)=0.1$，求 $P(A)$ 和 $P(B\mid A)$。
6. 当 $X$ 以概率 $3/4,1/4$ 取值 $0,2$ 时，求均值和方差。
7. 五次独立试验的成功概率为 $1/2$，求 $P(X=2)$、$E[X]$ 和方差。
8. Bernoulli 变量 $I$ 的成功概率为 $p$，其中 $0\le p\le1$。直接计算 $\operatorname{Var}(2I)$ 并与 $2\operatorname{Var}(I)$ 比较，说明何时不同。

综合

9. 有限随机变量的 CDF 在 $x<0$ 为 $F(x)=0$，在 $0\le x<1$ 为 $1/4$，在 $1\le x<2$ 为 $3/4$，在 $x\ge2$ 为一。恢复其分布及期望。
10. 若有人用二项分布描述从小盒中不放回抽两次的次品数，哪个假设失效？利用例 2 比较实际两次均为次品的概率与独立试验预测。

5.8 完整解答

1. 并集概率为 $0.4+0.5-0.2=0.7$。由于 $0.4(0.5)=0.2$，在所给概率下两事件独立。
2. 无序对有 $\binom62=15$ 个；不放回有序对有 $6\cdot5=30$ 个。
3. 交集概率为零，而各自概率之积为 $1/9>0$，违反独立性。
4. 条件概率法得 $(3/5)(2/4)=3/10$；计数法得 $\binom32/\binom52=3/10$。两种方法相符，互为验证。
5. 全概率为 $0.8(0.2)+0.1(0.8)=0.24$；Bayes 公式给出 $P(B\mid A)=0.16/0.24=2/3$。
6. $E[X]=2(1/4)=1/2$ 且 $E[X^2]=4(1/4)=1$，方差为 $1-1/4=3/4$。
7. $P(X=2)=\binom52/2^5=10/32=5/16$，均值为 $5/2$，方差为 $5(1/2)(1/2)=5/4$。
8. 由于 $E[2I]=2p$ 且 $E[(2I)^2]=4p$，方差为 $4p-4p^2=4p(1-p)$，而原方差的两倍为 $2p(1-p)$。当 $0<p<1$ 时二者不同；当 $p=0$ 或 $p=1$ 时二者均为零。变量缩放使离差平方按缩放因子的平方变化。等价地，非退化情形下 $2I=I+I$ 相加的是完全依赖的副本；在两个端点，副本是常变量且相互独立。
9. CDF 的跳跃给出零处概率 $1/4$、一处概率 $1/2$、二处概率 $1/4$。期望为 $0+1/2+1/2=1$。
10. 连续抽取不独立，因为剩余组成变化。五个对象中有两个次品时，实际概率为 $(2/5)(1/4)=1/10$。以不变的 $p=2/5$ 建立二项模型会得到 $(2/5)^2=4/25$，该值不同且缺乏依据。

总结与后续联系

概率模型需要结果和明确假设。等可能计数只适用于等可能的基本结果。条件概率限制并重新归一化；独立不等于互斥。Bayes 公式借助基础概率反转条件。期望线性不需要独立性，方差相加则需要依赖信息。二项公式要求固定次数、独立且成功概率相同的试验；连续密度公式使用积分。