概率依赖模型
机器故障时警报可能很容易响起,但若故障罕见,警报响起后故障未必仍然很可能。推断把假设的先验频率与观测到证据的似然结合;结果是指定模型下的概率,不保证模型适用于每台机器或每种环境。
令 为假设, 为二元观测。指定先验 ,其中 ,以及条件概率 。此先验限制保证两个条件事件的概率均为正。
定义 9.1.1
(先验、似然与后验)
先验是 。对观测值 ,假设 的似然是 ,即若 为真,则出现这些证据的概率。后验是 ,在证据概率为正时有定义。
定义 9.1.2
(给定假设时相互独立的观测)
若对 的每个值 及每组联合观测 ,似然都等于各个条件概率的乘积,
就称观测在给定 时相互独立。这是建模假设,不是因为使用不同传感器或重复测试便自然成立。
从联合模型到后验
对观测值 ,定义
定理 9.1.3
(条件独立下的后验)
设 ,且观测在给定 时相互独立。则对 有 。若 ,后验为
若 ,所观测事件的概率为零,后验没有定义。
证明
(相乘、相加、相除)
由乘法法则, 与证据同时发生的联合概率是 乘以似然,而由所述独立性,它等于 。事件 与 互斥且涵盖全部可能,所以全概率公式给出证据概率 。当它为正,条件概率的定义便用它去除联合概率 ;当它为零,定义中的分母为零。
证明透视
条件独立用在哪里
这个假设恰好只用一次:在每个假设之内,把整组证据的似然化为乘积。对两个假设求和,以及最后的相除,完全不需要独立性。也不需要对 取平均之后观测仍然独立;下面的反例表明,这通常并不成立。没有该假设时失效的是因式分解,而不是公式的结构:若第二次警报只是重复第一次,两次正读数在每个假设下的似然就是一次读数的似然,把它平方便是错的。
当 ,空乘积为一,后验便是先验。若证据概率为零,上式没有定义;不能把零向量归一化。例如两个假设均有 ,则模型给观测 的概率为零;计算前必须重新考虑或扩展模型。
一次警报与两次警报
例题 9.1.4
(罕见故障与正警报)
假设 、、,其中取值 分别表示“故障”和“警报”。正警报的联合概率质量为
因此 ,约为 。故障时警报的似然是 ;警报后的故障后验是另一个量。
例题 9.1.5
(第二次条件独立警报)
假设第二次警报的条件概率相同,且与第一次给定 时独立。两次正观测的质量为 、。后验为 ,约为 。这依赖所述独立性;共同噪声或共用传感器故障可能使其失效。
概念视角代数
后验赔率等于先验赔率乘以似然比
只要 ,用 去除 便得
后验概率则由 还原。在警报例子中,先验赔率为 ,每次正警报贡献似然比 。一次警报后赔率为 ,得 ;两次后为 ,得 。每个新的条件独立观测只把赔率乘上一个因子,所以每项证据的作用都能分开看清楚。
例题 9.1.6
(相互矛盾的读数与不可能的观测)
沿用前面例子的比率,设警报 1 为正、警报 2 为负。负读数的似然在故障下是 ,在无故障下是 ,因此
后验为 :负读数抵消了正读数的大部分作用,但并非全部,因为两个读数的似然比不同。
边界情形:把模型改为 。一次正警报给出 、,后验为 。公式依然有效,因为 ;零似然是排除一个假设,而不是让计算失去定义。
反例模式
条件独立不等于边际独立
在两次警报的例子中 ,但 ,并不等于 。对共同未知量 取平均后,观测可以变得相关。若没有其他独立性依据,不能不加条件便把边际概率相乘。
常见错误
常见错误
(把似然当成后验,或忽略先验)
一次警报后,“警报有 可靠”说的是 ,而不是故障的概率。如果只比较似然 与 ,会得出故障概率 。必须乘上先验 ,正确值是 。
常见错误
(把重复的读数当成独立证据)
设第二次警报只是第一次的副本,即必然 。则 ,所以 、,后验仍是 。如果像独立两次警报的计算那样把似然平方,会错报成 。只有条件独立得到论证时,两个读数才算两项证据。
计算确立了什么,没有确立什么
对二元假设与 个观测,在算术运算成本为常数、且可取得所指定概率的前提下,计算两个乘积及其和需要 次算术运算。有限精度计算中乘积可能下溢;数值实现需要适当缩放或对数域方法。若 或 但两者之和为正,公式仍然有效。结果是此模型下的后验,不是因果机制的证据,也不自动保证校准。
习题
快速检查
(在一次警报的例子中,计算出现正警报的概率,以及警报后无故障的后验概率。)
警报概率就是证据概率 。
解答 · 答案
警报概率为 ;无故障后验为 。
快速检查
(在两次警报的假设下,计算 。)
把两个联合质量相加。
解答 · 答案
它是 。
快速检查
(当 的两项都是零时,为什么不能除以 ?)
回想 代表什么。
解答 · 答案
模型给所观测事件的概率为零,条件概率的比式分母为零,因而没有定义。
快速检查
(若两次警报即使给定 之后仍有共同的失效机制,把一次警报的似然平方是否自动成立?)
考虑第二次警报完全复制第一次的极端情形。
解答 · 答案
不成立。联合似然必须另行指定或论证;共同机制可能违反条件独立。在完全复制的极端情形下,两次正读数的联合似然等于一次警报的似然,后验停留在 ,而不是升到 。