概率模型：隐藏条件、观察机制与依赖性

样本空间 $\Omega$ 列出模型实验的可能结果。事件是其子集。概率赋值满足 $P(E)\ge0$、$P(\Omega)=1$ 和互斥事件的可加性；一般概率模型中该性质扩展到可数个互斥事件的并。有限样本空间只需为各结果赋非负概率且总和为一，再将事件内结果的概率相加。

因此 $P(E^c)=1-P(E)$，且

$$P(E\cup F)=P(E)+P(F)-P(E\cap F).$$

要推导第二个恒等式，将 $E\cup F$ 分成互斥部分 $E\setminus F$、$F\setminus E$ 和 $E\cap F$，使重叠部分只计一次。

等可能计数 $P(E)=|E|/|\Omega|$ 只有在有限基本结果等可能时才有效。只列出少数具名类别并不会使它们等可能。

乘法原理计算连续选择：若第一阶段有 $m$ 种选择，且每种都有 $n$ 种第二阶段选择，则有 $mn$ 种有序选择。从 $n$ 个对象中有序选择 $k$ 个不同对象有 $n(n-1)\cdots(n-k+1)=n!/(n-k)!$ 种方法。忽略顺序时除以 $k!$，因为每个所选的 $k$ 元子集恰有 $k!$ 种排列。因此

$$\binom nk=\frac{n!}{k!(n-k)!},\qquad0\le k\le n.$$

对 $P(B)>0$，定义 $P(A\mid B)=P(A\cap B)/P(B)$。它在限制到事件 $B$ 后重新归一化可能结果。由此得到 $P(A\cap B)=P(A\mid B)P(B)$。

事件 $A,B$ 独立是指 $P(A\cap B)=P(A)P(B)$。当 $P(B)>0$ 时，这等价于 $P(A\mid B)=P(A)$。概率均为正的互斥事件不独立：其交集为空，而各自概率的乘积为正。

若 $B_1,\ldots,B_m$ 以正概率划分样本空间，则

$$P(A)=\sum_iP(A\mid B_i)P(B_i).$$

这是全概率公式，通过相加互斥部分 $A\cap B_i$ 得到。若 $P(A)>0$，Bayes 公式为

$$P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_iP(A\mid B_i)P(B_i)}.$$

随机变量 $X$ 为每个结果指定一个实数。在本有限模型中，其分布为 $p_X(x)=P(X=x)$，且

$$E[X]=\sum_xxp_X(x)=\sum_{\omega\in\Omega}X(\omega)p(\omega),\qquad \operatorname{Var}(X)=E[(X-E[X])^2].$$

将具有相同 $X$ 值的结果归组，即得期望的两个表达式相等。对实常数 $a,b$，分配有限的结果求和得到

$$E[aX+bY]=\sum_{\omega}(aX(\omega)+bY(\omega))p(\omega)=aE[X]+bE[Y].$$

因此线性性不需要独立性。令 $\mu=E[X]$，利用 $E[1]=1$ 展开平方，得

$$\operatorname{Var}(X)=E[X^2]-2\mu E[X]+\mu^2E[1]=E[X^2]-E[X]^2.$$

定义联合分布 $p_{X,Y}(x,y)=P(X=x,Y=y)$，其中逗号表示两个事件取交集。相应事件构成互斥划分，因此边缘和满足 $\sum_yp_{X,Y}(x,y)=p_X(x)$ 和 $\sum_xp_{X,Y}(x,y)=p_Y(y)$。变量 $X,Y$ 独立，当且仅当每对取值都满足 $p_{X,Y}(x,y)=p_X(x)p_Y(y)$。此时

$$E[XY]=\sum_x\sum_yxy\,p_{X,Y}(x,y) =\left(\sum_xxp_X(x)\right)\left(\sum_yyp_Y(y)\right)=E[X]E[Y].$$

定义协方差 $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]$。展开平方并利用线性性，证明

$$\begin{aligned} \operatorname{Var}(X+Y) &=E[X^2]+2E[XY]+E[Y^2]-(E[X]+E[Y])^2\\ &=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y). \end{aligned}$$

对具有有限二阶矩的两个随机变量，独立性足以保证方差相加；更一般地，它们的方差相加当且仅当协方差为零。展开和的方差会产生交叉项 $2(E[XY]-E[X]E[Y])$；变量独立时该项为零。仅有相同边缘分布并不能消去该项。这里证明中的所有和均有限，重排不需要收敛假设。

Bernoulli 变量 $I$ 以概率 $p\in[0,1]$ 取一，以概率 $1-p$ 取零。因此 $E[I]=1p+0(1-p)=p$。由于 $I^2=I$，$\operatorname{Var}(I)=E[I^2]-E[I]^2=p-p^2=p(1-p)$。

设 $n$ 为非负整数，$I_1,\ldots,I_n$ 为成功概率同为 $p$ 的 Bernoulli 变量。当 $n\ge1$ 时，相互独立的含义是：每个 $(a_1,\ldots,a_n)\in\{0,1\}^n$ 都满足

$$P(I_1=a_1,\ldots,I_n=a_n)=\prod_{j=1}^nP(I_j=a_j).$$

这是联合独立，而不只是每一对独立。令 $X=I_1+\cdots+I_n$。当 $n\ge1$ 且 $0<p<1$ 时，具有 $k$ 次成功的一个特定有序结果的概率为 $p^k(1-p)^{n-k}$。成功位置有 $\binom nk$ 种不同选择，相应事件互斥。因此

$$P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n.$$

端点情况另行说明，不计算 $0^0$：当 $p=0$ 时，$P(X=0)=1$；当 $p=1$ 时，$P(X=n)=1$；其他取值的概率均为零。若 $n=0$，空和 $X=0$ 对每个 $p\in[0,1]$ 都以概率一成立。这些退化情况都属于二项分布族。

当 $n\ge1$ 且 $0<p<1$ 时，由二项式定理，所示概率之和为 $(p+(1-p))^n=1$；每个退化情况的总概率也为一。由线性性，$E[X]=\sum_jE[I_j]=np$。在联合概率分解式中对其他坐标求和，各边缘概率之和均为一，故相互独立蕴含两两独立。因此对 $i\ne j$，$\operatorname{Cov}(I_i,I_j)=0$。展开中心化和的平方，得

$$\operatorname{Var}(X)=\sum_{j=1}^n\operatorname{Var}(I_j)+2\sum_{1\le i<j\le n}\operatorname{Cov}(I_i,I_j)=np(1-p).$$

端点及空和情况下 $X$ 为常数，期望与方差公式仍成立。不放回抽样通常不满足相互独立的假设。

概率模型与信息

如果没有说明实验、观察过程或独立性假设，即使分数运算正确，也可能回答错问题。下面用假设性有限模型研究隐藏条件、两两独立与相互独立，以及观察机制的细节如何影响后验概率。所需基础包括有限样本空间、条件概率、贝叶斯公式、期望与基本计数。

1. 样本空间的描述

若 $P(B)=0$，这一有限条件概率比值无定义，而不是自动等于零。

实验必须说明哪些结果等可能。均匀选出的无序子集与有序序列的样本描述不同，但只要概率赋值一致，两种描述都有效。分子按有序结果计数、分母按无序结果计数，便混用了两个样本空间；即使各自计数正确，这样做也无效。

2. 条件独立在混合后未必保留

以相等概率选择隐藏的硬币类型 $T$：H 型正面概率为 $3/4$，L 型为 $1/4$。选定类型后，将同一枚硬币掷两次；在给定类型的条件下，两次投掷独立。这是明确的条件假设，并不是忘记类型之后的独立性。

令 $A$ 表示第一次为正面，$B$ 表示第二次为正面。由全概率公式，$P(A)=P(B)=1/2$。但是

$$P(A\cap B)=\frac12\left(\frac34\right)^2+\frac12\left(\frac14\right)^2=\frac5{16},$$

而不是 $1/4$。在混合模型中这两个事件正相关。出现正面会使高正面概率的类型更可能：$P(T=H\mid A)=3/4$，所以

$$P(B\mid A)=\frac34\frac34+\frac14\frac14=\frac58>\frac12.$$

第一次投掷并未在物理上改变第二次投掷；改变的是关于共同隐藏类型的信息。

对于等可能的两种类型，正面概率分别为 $p,q$，同样推理得到

$$P(A\cap B)-P(A)P(B)=\frac{p^2+q^2}{2}-\left(\frac{p+q}{2}\right)^2=\frac{(p-q)^2}{4}.$$

因此，两种类型的偏向相等时，这一依赖来源消失；不等时则产生依赖。若先把每个条件概率换成边缘平均值，再相乘，就恰好抹去了这一项。

3. 两两独立弱于相互独立

事件 $A_1,\ldots,A_m$ 相互独立，是指对每个非空指标集合 $S\subseteq\{1,\ldots,m\}$ 都有

$$P\left(\bigcap_{j\in S}A_j\right)=\prod_{j\in S}P(A_j).$$

两两独立只要求这个条件对含两个指标的集合 $S$ 成立。对三个事件，三个两两条件和三重交集条件都需要成立；单个事件的条件自动成立。

独立地抛掷两个公平比特 $X,Y$，四个结果等可能。令 $A=\{X=0\}$、$B=\{Y=0\}$、$C=\{X=Y\}$。每个事件的概率都是 $1/2$。每一对恰有一个共同结果，因此每对交集的概率都是 $1/4$，等于各自概率的乘积。然而

$$P(A\cap B\cap C)=P((X,Y)=(0,0))=\frac14\ne\frac18.$$

它们两两独立，却不相互独立。相互独立的定义包括三重交集条件，因此可据此将三个事件的概率相乘；仅有两两独立却不能保证该乘法成立。

以 $C$ 为条件后，只剩下 $(0,0)$ 和 $(1,1)$ 两个结果，各自的条件概率为 $1/2$。在这一条件模型中，$A$ 与 $B$ 总是同时发生，因此 $P(A\cap B\mid C)=1/2$，而 $P(A\mid C)P(B\mid C)=1/4$。原本独立的事件在选取共同条件后可以变得依赖。改变的是样本空间，而不只是记号。

4. 观察机制是似然的一部分

有三个关闭的箱子，奖品均匀随机地放在其中一个。玩家先选一号箱。主持人知道奖品位置，总是打开一个未被选中且没有奖品的箱子，然后让玩家选择是否换到另一个未打开的箱子。不以主持人打开的是哪一个箱子为条件时，换箱获胜恰好对应玩家最初选错，故概率为 $2/3$。这个论证不要求主持人在有两个可选箱时均匀地打破平局，只要求其具有上述知识并始终按规则开箱、提供换箱。

现在假设玩家观察到主持人打开三号箱。令 $J$ 表示奖品位置，并令 $\theta\in[0,1]$ 表示当 $J=1$ 时主持人打开三号箱的概率；此时两个未选箱都可打开。于是

$$P(O_3\mid J=1)=\theta,\quad P(O_3\mid J=2)=1,\quad P(O_3\mid J=3)=0.$$

由贝叶斯公式，

$$P(J=2\mid O_3)=\frac{1/3}{\theta/3+1/3}=\frac1{1+\theta}.$$

均匀打破平局意味着 $\theta=1/2$，得到 $2/3$。总选编号较大的可开箱意味着 $\theta=1$，后验概率为 $1/2$。两个箱子均可选时从不打开三号箱意味着 $\theta=0$，观察到三号箱打开后后验概率为 1。不同机制下这一观察的信息量不同，尽管不加条件的换箱胜率始终为 $2/3$。

这里没有矛盾：按照相应机制对条件结果取平均，便恢复同一个无条件概率。若有人说“打开了一个无奖品的箱子，所以剩下两个箱子必定等可能”，这既没有给出相关似然，也没有给出有效的对称性论证。主持人利用所知信息选择观察结果，破坏了这种简单对称性。

5. 赔率区分似然与先验信念

令 $B$ 为假设，满足 $0<P(B)<1$，并设观察事件 $A$ 在 $B$ 和 $B^c$ 下的条件概率均为正。两次应用条件概率定义得到

$$\frac{P(B\mid A)}{P(B^c\mid A)} =\frac{P(A\cap B)}{P(A\cap B^c)} =\frac{P(A\mid B)}{P(A\mid B^c)}\frac{P(B)}{P(B^c)}.$$

第一因子是似然比，第二因子是先验赔率，乘积是后验赔率。证据可以支持一个先前不太可能的假设，但不一定使它比其对立假设更可能。具体地，似然比大于 1 会提高该假设的概率，但后验是否超过二分之一，还取决于先验赔率。这是指定模型中的代数结论，并不保证现实中某个假设为真。

6. 不放回抽样：期望不要求独立

设 $N,K,n$ 为整数，满足 $N\ge0$、$0\le K\le N$ 和 $0\le n\le N$。从 $N$ 个不同物体中依次不放回抽取 $n$ 个，其中 $K$ 个带标记；每一步都在剩余物体中等概率选择。每个由不同物体组成的有序样本因而等可能。忽略顺序后，因每个 $n$ 元子集都有恰好 $n!$ 种顺序，所得分布正是各 $n$ 元子集上的均匀分布。令 $X$ 为抽中带标记物体的数量。对 $n$ 个抽取位置中的每一个，定义指示变量：带标记时 $I_j=1$，否则为零。由对称性，每个固定位置上各物体等可能出现，故当 $N>0$ 时，每个指示变量取一的边缘概率为 $K/N$。这些指示变量不一定独立；在 $K=0$ 或 $K=N$ 等退化情形，它们都是常量。当 $N>0$ 时，由线性性得到

$$E[X]=\sum_{j=1}^n E[I_j]=\frac{nK}{N}.$$

当 $N=0$ 时，必有 $K=n=0$ 且 $X=0$，因此 $E[X]=0$。当 $N=1$ 时，允许的抽样给出确定的计数，因此 $\operatorname{Var}(X)=0$。这里没有使用联合概率相乘，因此不需要独立性。相比之下，除非已经证明独立或其他协方差为零的条件，和的方差包含协方差项。不能直接把独立有放回试验的二项模型套用于这一实验。

当 $N>1$ 且 $n\ge2$ 时，任意两个不同抽取位置上的有序物体对均匀分布于 $N(N-1)$ 个不同物体的有序对中，其中恰有 $K(K-1)$ 对都带标记。因此 $E[I_iI_j]=P(I_i=I_j=1)=K(K-1)/(N(N-1))$。若 $n<2$，则没有这样的指标对，协方差求和为空。减去 $(K/N)^2$ 得到协方差 $-p(1-p)/(N-1)$，其中 $p=K/N$。因此

$$\operatorname{Var}(X)=np(1-p)\frac{N-n}{N-1}.$$

抽取全部物体时，有限总体修正因子使方差为零，这也是必须的：此时 $X=K$ 是确定值。这在代数代入之外提供了模型一致性检验。

分层综合与诊断

1. 逻辑区分。 证明两个概率为正的互斥事件不独立。给出一个交集非空而彼此独立的事件的有限例子。
2. 隐藏混合。 对等可能的隐藏类型推导依赖差 $(p-q)^2/4$，并准确指出模型中两次出现正面的事件何时独立。
3. 条件选择。 在双比特例子中计算 $P(A\mid C)$、$P(B\mid C)$ 和 $P(A\cap B\mid C)$，并判断“独立性在条件化下总能保留”这一说法。
4. 主持人机制。 对一般的 $\theta$ 推导观察到三号箱被打开时的换箱后验概率。解释它为何可变化而无条件换箱胜率仍为 $2/3$。
5. 证据。 在上述正概率假设下，证明似然比大于 1 会提高 $P(B)$。它是否必然使 $P(B\mid A)>1/2$？
6. 抽样。 利用指示变量对的概率推导不放回抽样的方差公式。对 $N=1$ 单独处理，不要除以 $N-1$。

完整解答

1. 互斥使交集概率为零，而两个正的边缘概率之积为正；独立性却要求二者相等。交集非空的独立例子：在四个公平双比特结果上取 $A=\{X=0\}$ 和 $B=\{Y=0\}$。它们的边缘概率均为 $1/2$，交集是唯一结果 $(0,0)$，概率为 $1/4$。
2. 条件独立给出联合概率 $(p^2+q^2)/2$，每个边缘概率为 $(p+q)/2$，两者之差为 $[2p^2+2q^2-(p+q)^2]/4=(p-q)^2/4$。两事件独立当且仅当此差为零，也就是 $p=q$，包括偏向处于边界的情况。给定类型时的条件独立始终成立；这里的结论针对混合后的模型。
3. 给定 $C$ 后，剩下的两个结果等可能。每个边缘概率是 $1/2$，交集的条件概率为 $1/2$，而不是乘积 $1/4$。因此条件化一般不保留独立性。在这个选取后的模型中，两事件重合，样本空间清楚解释了依赖为何改变。
4. $O_3$ 与 $J=1,2,3$ 的三个联合权重为 $\theta/3,1/3,0$。归一化后，换箱成功的后验概率为 $1/(1+\theta)$。无条件地，第一次选错的概率为 $2/3$，此时机制必然将奖品留在换箱目标中；第一次选对时换箱会输。以主持人的某一特定行为为条件，会随着 $\theta$ 改变而选择初始情形的不同比例，但不改变它们原来的概率。
5. 记先验赔率为 $o=P(B)/(1-P(B))>0$，似然比为 $\ell>1$。后验赔率是 $\ell o>o$。对于正的 $u$，映射 $u\mapsto u/(1+u)$ 严格递增，因为交叉相乘保持不等号，故后验概率大于先验概率。它不一定超过二分之一：若 $o<1/\ell$，后验赔率仍小于 1。例如对任意固定的有限似然比，充分小的正先验满足此不等式。
6. 每个指示变量的方差是 $p(1-p)$。不同位置的协方差为 $K(K-1)/(N(N-1))-K^2/N^2=-p(1-p)/(N-1)$。展开中心化和的平方，得到 $np(1-p)+n(n-1)[-p(1-p)/(N-1)]=np(1-p)(N-n)/(N-1)$。当 $N=1$ 时，允许的 $n$ 为零或一；$X$ 分别为零或确定的带标记数量，因此方差直接为零。若 $N=0$，只允许空抽样，且 $X=0$；不使用含 $K/N$ 的公式。

总结与术语

条件独立讨论固定信息后的模型；边缘独立讨论对该信息取平均后的模型。相互独立约束超出两两交集的联合交集。机制规定观察如何被选出，从而规定其似然。协方差记录方差中的交叉项，而期望可加并不要求协方差为零。应用概率公式之前，必须说明实验与信息流。