动机
概率为不完整信息提供语言。同一结果可能属于多个事件,因此计数时必须处理重叠。模型也区分观察之前与之后所掌握的信息。
定义
事件与模型
计算之前,先选择样本空间 Ω:其中每一点都是足以回答问题的一个结果。事件是结果的集合。有限实验中可以把每个子集都视为事件;无限空间则指定一个包含 Ω、并对补集及可数并集封闭的事件族 F。这样可以建立一致的概率理论,而不必为每一个子集指定概率。
概率空间是三元组 (Ω,F,P),其中 F 是如上的事件族,而 P:F→[0,1] 满足 P(A)≥0、P(Ω)=1,并且对两两互斥的事件 A1,A2,…,有
P(n=1⋃∞An)=n=1∑∞P(An).
最后一条称为可数可加性。模型本身是一项假设;例如“各结果等可能”必须由实验加以支持,不能单凭“随机”一词推论。
对事件 A,B,有 P(Ac)=1−P(A) 和 P(A∪B)=P(A)+P(B)−P(A∩B)。若 A⊆B,则 P(A)≤P(B)。
从某个下标起取 An=∅,可数可加性便适用于有限多个互斥事件;P(∅)=0,否则 Ω=Ω∪∅∪∅∪⋯ 的概率会是无穷大。首先,A 与 Ac 不相交且并集是 Ω,故 1=P(A)+P(Ac)。其次,把 A∪B 分成不相交的 A 和 B∖A,得 P(A∪B)=P(A)+P(B∖A);又 B 是 B∖A 与 A∩B 的不相交并集,所以 P(B∖A)=P(B)−P(A∩B),代入即得加法公式。最后,若 A⊆B,则 B=A∪(B∖A) 且两项不相交,由概率非负得 P(B)=P(A)+P(B∖A)≥P(A)。加法公式减去交集,是为修正重复计算。
装置输出 0,1,2 的概率分别为 1/2,1/3,1/6。令 A={0,1},B={1,2},则 P(A)=5/6、P(B)=1/2、P(A∩B)=1/3。加法公式给出 P(A∪B)=5/6+1/2−1/3=1。不能因 A 包含三个结果中的两个就说其概率是 2/3,因为结果并非等可能。
证明思路
上面的论证从公理推出公式,而非把每条公式当作独立规则。引入观察后,这些互斥分解仍会反复出现。
条件概率与分割
已知 P(B)>0 且 B 发生时,A 的条件概率定义为
P(A∣B)=P(B)P(A∩B).
这是在 B 内重新标准化,并非更改原来的概率测度。若 P(B)=0,上述比值没有定义。较进阶的条件分布可处理某些零概率观察,但不能单靠这个比值。
概念视角结构
条件化产生一个新的概率测度
固定 P(B)>0 的 B,记 PB(A)=P(A∣B)。则 PB 本身是 (Ω,F) 上的概率测度:它非负,PB(Ω)=P(B)/P(B)=1;对互斥的 A1,A2,…,集合 An∩B 也互斥,并集为 (n⋃An)∩B,所以可数可加性传递到 PB。因此公理的每一个推论都可在条件下使用,例如 P(Ac∣B)=1−P(A∣B)。新测度给 Bc 的概率为零;若再以 C 作条件且 P(B∩C)>0,则
PB(C)PB(A∩C)=P(B∩C)P(A∩B∩C)=P(A∣B∩C),即先后两次观察,等于一次观察两者的交集。
改写定义得到乘法公式 P(A∩B)=P(A∣B)P(B)。把它逐格应用到一个分割上,就得到观察之后更新模型所用的两条公式。
定理 1.1.5
(全概率公式与贝叶斯(Bayes)公式)
设 H1,…,Hk 是 Ω 的一个分割,且每个 P(Hi)>0;设 B 为事件。则
P(B)=i=1∑kP(B∣Hi)P(Hi).若还有 P(B)>0,则对每个 j,
P(Hj∣B)=∑i=1kP(B∣Hi)P(Hi)P(B∣Hj)P(Hj).
因为各 Hi 互不相交,集合 B∩H1,…,B∩Hk 也互不相交,并集为 B∩Ω=B。由可加性和乘法公式,P(B)=i∑P(B∩Hi)=i∑P(B∣Hi)P(Hi)。当 P(B)>0 时,由定义得 P(Hj∣B)=P(B∩Hj)/P(B)=P(B∣Hj)P(Hj)/P(B),再用第一式代入 P(B),即得贝叶斯(Bayes)公式。
分母计及观察到 B 的所有途径,而不只是正在考察的假设。先验概率为零的分割项对总和的贡献为零,可从这个以条件概率表达的总和中省略。
零件以概率 1/4 来自生产线 H1,否则来自 H2。来自 H1 时出现警告的概率为 1/5,来自 H2 时为 1/15。警告的总概率为 (1/4)(1/5)+(3/4)(1/15)=1/10。已知警告,来自 H1 的概率为 (1/20)/(1/10)=1/2。警告把先验概率加倍,但并未使来源确定。
概念视角代数
贝叶斯公式:先验胜算乘以似然比
对两个假设,若 P(B)>0 且 P(B∣H2)>0,把 H1 的贝叶斯公式除以 H2 的,公共分母就约去了:
P(H2∣B)P(H1∣B)=P(B∣H2)P(B∣H1)⋅P(H2)P(H1).后验胜算等于先验胜算乘以似然比。上例中先验胜算是 1/3,似然比是 (1/5)/(1/15)=3,所以后验胜算为 1,即 P(H1∣B)=1/2。
独立性是模型的性质
若 P(A∩B)=P(A)P(B),事件 A,B 便独立。若对每组下标 1≤i1<⋯<ik≤n(k≥2)都有
P(Ai1∩⋯∩Aik)=P(Ai1)⋯P(Aik),则称事件 A1,…,An 相互独立。
对两个事件,当 P(B)>0,乘积公式等价于 P(A∣B)=P(A);乘积定义在零概率事件下仍有意义。独立性是对称的,条件概率的记号则有方向。两个概率皆正且互斥的事件不可能独立:交集概率是零,乘积却是正数。
多个事件相互独立,要求每个子族都满足乘积公式,而不只每一对。
反例模式
两两独立不等于相互独立
断言:若 A,B,C 中每一对都独立,三者便相互独立。取两个独立公平二元变量 X,Y,四个结果 (x,y) 的概率各为 1/4;令 A={X=0}、B={Y=0}、C={X=Y}={(0,0),(1,1)}。每个事件的概率都是 1/2。每对的交集都是单一结果 (0,0):A∩B、A∩C、B∩C 都等于 {(0,0)},概率为 1/4=(1/2)(1/2)。但 A∩B∩C={(0,0)} 的概率也是 1/4,而非 1/8。断言不成立;三个事件相互独立需要三条两两等式再加三重等式,正如定义所列。
知道其中任意两个事件是否发生,便确定第三个,所以三重乘积公式失效。
重复抽样与分母
样本空间必须记录抽样方法。不放回抽样时,第一次抽取会改变第二次的条件分布;放回抽样则在每次之前恢复原有组成,但独立性仍是模型的性质,不能单凭“放回”一词断定。
若 P(A1∩⋯∩An−1)>0,则
P(A1∩⋯∩An)=P(A1)j=2∏nP(Aj∣A1∩⋯∩Aj−1).
记 Bj=A1∩⋯∩Aj。当 j≤n−1 时 Bn−1⊆Bj,由单调性得 P(Bj)≥P(Bn−1)>0,所以乘积中每个条件概率都有定义。由条件概率的定义,P(Aj∣Bj−1)=P(Bj)/P(Bj−1),于是
P(A1)j=2∏nP(Bj−1)P(Bj)=P(B1)⋅P(B1)P(B2)⋯P(Bn−1)P(Bn)=P(Bn).若所需条件事件概率为零,该公式没有定义,虽然此时交集本身的概率也为零。
袋中有三个蓝球和两个绿球,均匀地不放回抽两次。两次都是蓝球的概率为 (3/5)(2/4)=3/10:取走一个蓝球后,余下四球中只有两个蓝球。恰有一个蓝球的概率是 (3/5)(2/4)+(2/5)(3/4)=3/5,两项代表互斥的次序。若每次抽后放回,两蓝的概率则为 (3/5)2。这是实验改变,而不是算术修正。
可作一个检查:所有下一结果的条件概率应合计为一。此例抽到蓝球后,下一球是蓝或绿的概率各为 2/4。应始终在指定条件事件内计算,不要混用不同阶段的分母。
P(A∣B) 和 P(B∣A) 通常有不同分母。在警告例子中,前者可以描述已知警告后的来源,后者则描述已知来源后的警告。必须提供先验概率和总概率,才可用贝叶斯公式转换。
等可能结果的计数
有限样本空间中的结果若全都等可能,公理迫使每一个结果的概率等于 1/∣Ω∣,所以 P(A)=∣A∣/∣Ω∣。这是把 A 中各单点的概率相加得到的。重要工作是选择真正等可能的样本空间。例如两颗以颜色区分的公平骰子有 36 个等可能有序对,但二至十二的点数和并非等可能,因为不同和对应的有序对数目不同。
和为七的有序对是 (1,6),(2,5),(3,4),(4,3),(5,2),(6,1),共 36 个等可能结果中的六个,故概率为 1/6。和为二只有 (1,1),概率为 1/36。若把十一个可能的和视为等可能,便会得到各为 1/11,与有序对模型矛盾。
即使次序无法观察,有序表示仍可供计算。若每个固定大小的无序选取对应相同数量的有序序列,两种表示都可用,但分子与分母必须采用相同约定。若分子用有序计数、分母用无序计数,或忽略各结果的不同重数,便会出错。
例如从十个不同球中均匀地不放回抽三个,其中四个是红球。恰有两红的概率为
(310)(24)(16)=12036=103.
分子先选两个红球,再选一个非红球,每个无序选取恰计一次。也可用有序计法:非红球有三个位置,各位置的概率为 (4/10)(3/9)(6/8),相加得相同答案。零、一、二、三个红球的概率合共应为一,可用作检查。
补事件与重复试验
“至少一次”有时更易由补事件计算。若独立试验中每次成功概率为 p,n 次中至少一次成功的概率为 1−(1−p)n。补事件是全部失败,相互独立才容许使用乘积。只有相同边际概率不足以支持此公式。例如每次都沿用同一个公平硬币结果时,至少一次正面的概率仍是 1/2,而非 1−2−n。
仪器在四次扫描中独立地各以 1/3 概率检测信号。至少检测一次的概率是 1−(2/3)4=65/81。恰检测一次的概率是 4(1/3)(2/3)3=32/81:先选成功的扫描,再乘该次序的概率。“至少一次”亦包含二、三、四次成功,与“恰一次”不同。
有人会说:四次扫描各以 1/3 检测到信号,至少检测到一次的概率是 4⋅(1/3)=4/3。大于一的数不可能是概率。“第 i 次检测到”这些事件互相重叠,必须扣除重叠部分才可相加。补事件的方法避开这个问题:1−(2/3)4=65/81。和 np 只是至少一次成功的概率的上界。
条件化可改变相依性
观察第三个事件后,原有独立性可能消失。取两个独立公平二元变量,并以至少一个为一作条件。此时 (1,0),(0,1),(1,1) 三个结果等可能。每个变量等于一的条件概率为 2/3,但两者同时为一的条件概率为 1/3。因 1/3=(2/3)2,给定此事件后两者并不独立。观察排除了 (0,0),从而连结两个可能值。观察前的独立性,在限制到已观察事件后不一定保留。
反向现象亦可能发生:混合模型中观察到的相依性,在给定共同原因后可以消失。应清楚写明条件概率所依据的信息。贝叶斯公式不要求独立,它由乘法公式和分割推出;独立性是额外假设,可能简化某些项,但必须有理由,不能为了方便计算而加入。
以界限检查模型
代入公式前,先检查输入概率能否来自任何联合模型。因 A∩B 同时包含于两个事件,P(A∩B)≤min(P(A),P(B))。加法公式及 P(A∪B)≤1 又给出 P(A∩B)≥P(A)+P(B)−1,非负性提供另一个下界零。合并后得到
max(0,P(A)+P(B)−1)≤P(A∩B)≤min(P(A),P(B)).
例如 P(A)=0.8、P(B)=0.7 时,交集概率 0.2 不可能,因为下界是 0.5。交集概率 0.6 则符合界限:可依次给 A∩B、A∩Bc、Ac∩B 和两者皆不发生的四格概率 0.6,0.2,0.1,0.1。各格非负且总和为一,构成有限模型。此构造证明此特定选择相容,却不证明独立:独立要求交集概率为 0.56。
若 P(A)>0,把交集界限除以 P(A) 亦可约束 P(B∣A)。这些检查可在计算前发现不可能的输入,但不能单凭两个边际概率确定交集的精确值;还需其他信息或假设。
再看 P(A)=0.8、P(B)=0.7。若独立,交集为 0.56,并集为 0.94;若 B⊆A,交集为 0.7,并集为 0.8。两者的边际概率相同。仅指定边际概率时,并集可有不同答案:事件间的关系也是题目条件。若不清楚已知什么、假设什么,可画四格表检查。
总结
事件是指定概率模型中的集合;条件概率把符合观察的部分重新标准化,独立性则是乘积等式。互斥与独立不同,两两独立也弱于相互独立。
练习
快速检查
(掷公平骰子。A 是偶数,B 是大于三的结果。求 P(A∣B),并判断 A 与 B 是否独立。)
解答 · 答案
B={4,5,6},A∩B={4,6},所以 P(A∣B)=(2/6)/(3/6)=2/3。因 P(A)=1/2=2/3,两事件不独立。
快速检查
(选第一、第二个盒的概率分别是 2/5,3/5;从两盒抽到红球的条件概率分别为 3/4,1/3。已知红球,求选第一盒的概率。)
解答 · 答案
由全概率公式,红球概率为 (2/5)(3/4)+(3/5)(1/3)=3/10+1/5=1/2。贝叶斯公式给出选第一盒的概率 (3/10)/(1/2)=3/5。
快速检查
(若 P(A)=0.6、P(B)=0.5、P(A∪B)=0.8,求 P(A∩B) 和 P(Ac∩B)。)
解答 · 答案
加法公式得 P(A∩B)=0.6+0.5−0.8=0.3。把 B 分成 A∩B 与 Ac∩B,得 P(Ac∩B)=0.5−0.3=0.2。