概率依賴模型
機器故障時警報可能很容易響起,但若故障罕見,警報響起後故障未必仍然很可能。推斷把假設的先驗頻率與觀察到證據的似然結合;結果是指定模型下的概率,並不保證模型適用於每台機器或每種環境。
令 為假設, 為二元觀察。指定先驗 ,其中 ,以及條件概率 。此先驗限制保證兩個條件事件的概率均為正。
定義 9.1.1
(先驗、似然與後驗)
先驗是 。對觀察值 ,假設 的似然是 ,即若 為真,則出現這些證據的概率。後驗是 ,在證據概率為正時有定義。
定義 9.1.2
(給定假設時相互獨立的觀察)
若對 的每個值 及每組聯合觀察 ,似然都等於個別條件概率的乘積,
便稱觀察在給定 時相互獨立。這是建模假設,不是因為使用不同感測器或重複測試便自然成立。
從聯合模型到後驗
對觀察值 ,定義
定理 9.1.3
(條件獨立下的後驗)
設 ,且觀察在給定 時相互獨立。則對 有 。若 ,後驗為
若 ,所觀察事件的概率為零,後驗沒有定義。
證明
(相乘、相加、相除)
由乘法法則, 與證據同時發生的聯合概率是 乘以似然,而由所述獨立性,它等於 。事件 與 互斥且涵蓋全部可能,所以全概率公式給出證據概率 。當它為正,條件概率的定義便以它除聯合概率 ;當它為零,定義中的分母為零。
證明透視
條件獨立在哪裏被用到
這個假設恰好只用一次:在每個假設之內,把整組證據的似然化為乘積。對兩個假設求和,以及最後的相除,完全不需要獨立性。也不需要對 取平均之後觀察仍然獨立;下面的反例顯示,這通常並不成立。沒有該假設時失效的是因式分解,而不是公式的結構:若第二次警報只是重複第一次,兩次正讀數在每個假設下的似然就是一次讀數的似然,把它平方便是錯的。
當 ,空乘積為一,後驗便是先驗。若證據概率為零,上式沒有定義;不能把零向量正規化。例如兩個假設均有 ,則模型給觀察 的概率為零;計算前必須重新考慮或擴展模型。
一次警報與兩次警報
例題 9.1.4
(罕見故障與正警報)
假設 、、,其中取值 分別表示「故障」及「警報」。正警報的聯合概率質量為
因此 ,約為 。故障時警報的似然是 ;警報後的故障後驗是另一個量。
例題 9.1.5
(第二次條件獨立警報)
假設第二次警報的條件概率相同,且與第一次給定 時獨立。兩次正觀察的質量為 、。後驗為 ,約為 。這依賴所述獨立性;共同雜訊或共用感測器故障可能令其失效。
概念視角代數
後驗賠率等於先驗賠率乘以似然比
只要 ,以 除 便得
後驗概率則由 還原。在警報例子中,先驗賠率為 ,每次正警報貢獻似然比 。一次警報後賠率為 ,得 ;兩次後為 ,得 。每個新的條件獨立觀察只把賠率乘上一個因子,所以每項證據的作用都可以分開看清楚。
例題 9.1.6
(互相矛盾的讀數與不可能的觀察)
沿用前面例子的比率,設警報 1 為正、警報 2 為負。負讀數的似然在故障下是 ,在無故障下是 ,因此
後驗為 :負讀數抵消了正讀數的大部分作用,但並非全部,因為兩個讀數的似然比不同。
邊界情況:把模型改為 。一次正警報給出 、,後驗為 。公式依然有效,因為 ;零似然是排除一個假設,而不是令計算失去定義。
反例模式
條件獨立不等於邊際獨立
在兩次警報的例子中 ,但 ,並不等於 。對共同未知量 取平均後,觀察可以變得相依。若沒有其他獨立性依據,不能不加條件便把邊際概率相乘。
常見錯誤
常見錯誤
(把似然當成後驗,或忽略先驗)
一次警報後,「警報有 可靠」說的是 ,不是故障的概率。若只比較似然 與 ,會得出故障概率 。必須乘上先驗 ,正確值是 。
常見錯誤
(把重複的讀數當成獨立證據)
設第二次警報只是第一次的複本,即必然 。則 ,所以 、,後驗仍是 。若像獨立兩次警報的計算那樣把似然平方,會錯報成 。只有條件獨立得到論證時,兩個讀數才算兩項證據。
計算確立了甚麼,沒有確立甚麼
對二元假設與 個觀察,在算術運算成本為常數、且可取得所指定概率的前提下,計算兩個乘積及其和需要 次算術運算。有限精度計算中乘積可能下溢;數值實作需要適當縮放或對數域方法。若 或 但兩者之和為正,公式仍然有效。結果是此模型下的後驗,不是因果機制的證據,也不自動保證校準。
習題
快速檢查
(在一次警報的例子中,計算出現正警報的概率,以及警報後無故障的後驗概率。)
警報概率就是證據概率 。
解答 · 答案
警報概率為 ;無故障後驗為 。
快速檢查
(在兩次警報的假設下,計算 。)
把兩個聯合質量相加。
解答 · 答案
它是 。
快速檢查
(當 的兩項都是零時,為甚麼不可以除以 ?)
回想 代表甚麼。
解答 · 答案
模型給所觀察事件的概率為零,條件概率的比式分母為零,因而沒有定義。
快速檢查
(若兩次警報即使給定 後仍有共同的失效機制,把一次警報的似然平方是否自動成立?)
考慮第二次警報完全複製第一次的極端情況。
解答 · 答案
不成立。聯合似然必須另行指定或論證;共同機制可能違反條件獨立。在完全複製的極端情況下,兩次正讀數的聯合似然等於一次警報的似然,後驗停留在 ,而不是升到 。