引言
前面的筆記介紹了貝葉斯(Bayes)定理,以混淆矩陣和錯誤率衡量分類器,也研究了最近鄰分類。最近鄰分類器透過觀察新數據點附近的訓練點來估計其類別,並不預先指定各類別的特徵如何產生。
樸素貝葉斯採取另一個方向:先為每個類別內的特徵指定概率模型,再用貝葉斯定理求類別的後驗概率。這個模型作出一個強假設:給定類別後,各特徵互相獨立。這使分類器容易擬合和解釋,而各項證據在對數勝算尺度上可以相加。
本節處理二元情況:每個特徵只有出現或不出現兩種狀態,類別亦只有兩個。我們會推導分類器,釐清假設的含義,並透過小樣本及反例了解它的局限。
模型
設類別標籤 Y∈{0,1},類別先驗概率為 π=P(Y=1),其中 0<π<1。令 X=(X1,…,Xd)∈{0,1}d 為二元特徵向量。對每個特徵 j 和類別 y,定義
θjy=P(Xj=1∣Y=y),0<θjy<1.
若對每個 y∈{0,1} 及每個 x∈{0,1}d 都有
P(X=x∣Y=y)=j=1∏dP(Xj=xj∣Y=y),則稱這些特徵在給定 Y 的條件下相互獨立。
對伯努利(Bernoulli)隨機變量,P(Xj=xj∣Y=y)=θjyxj(1−θjy)1−xj。當 xj=1 時,指數選出 θjy;當 xj=0 時則選出 1−θjy。因此伯努利樸素貝葉斯似然為
P(X=x∣Y=y)=j=1∏dθjyxj(1−θjy)1−xj.
由於每個 θjy 都嚴格介乎 0 和 1,任何模式 x 在兩個類別下的概率都為正。特別地,P(X=x)=πP(x∣1)+(1−π)P(x∣0)>0。根據貝葉斯定理,後驗概率是先驗乘以似然,再除以正規化常數:
P(Y=y∣X=x)=πP(X=x∣Y=1)+(1−π)P(X=x∣Y=0)P(Y=y)P(X=x∣Y=y).
可相加的對數後驗勝算
定理 5.4.2
(伯努利樸素貝葉斯的對數後驗勝算)
在上述模型下,對每個 x∈{0,1}d,
logP(Y=0∣X=x)P(Y=1∣X=x)=log1−ππ+j=1∑d[xjlogθj0θj1+(1−xj)log1−θj01−θj1].
兩個後驗概率的分母都是正數 P(X=x),相除時便會抵消:
P(Y=0∣x)P(Y=1∣x)=1−ππ⋅P(x∣Y=0)P(x∣Y=1).代入分解後的似然,兩個乘積之比等於各項比值的乘積:
P(x∣Y=0)P(x∣Y=1)=j=1∏d(θj0θj1)xj(1−θj01−θj1)1−xj.每個因子都是正數之比,故對數有定義。取對數後,乘積化為和,指數化為乘數,就得到公式。
證明透視
兩個假設,用在兩個地方
首先用到的是正性。由於 0<π<1 及 0<θjy<1,證據 P(X=x) 為正,兩個後驗概率都有定義,共同分母可以消去;同樣的界亦令每個因子為正,所以每個對數都有限。條件獨立只用了一次:把聯合似然比換成各特徵似然比的乘積。這是唯一屬於建模選擇的一步,其餘都是貝葉斯定理和代數。
論證能夠收結,是因為有限個正數乘積的對數等於各對數之和。若似然分解不成立,第一條式仍然成立,失效的只有第二條;下文重複特徵的反例顯示,單是這一步失效已可改變預測。若某個估計的 θjy 等於 0 或 1,某個因子可以為零,對數便不再有限,這就是參數估計部分處理的零計數問題。
換言之,公式是一份證據帳簿。先驗給出基準率項 log[π/(1−π)],每個特徵再貢獻一個對數似然比。出現的特徵貢獻 log(θj1/θj0),不出現的特徵則貢獻 log[(1−θj1)/(1−θj0)]。不出現也是證據:若某特徵在類別 1 常見、在類別 0 罕見,它的缺席便會使判斷傾向類別 0。
整理各項可見,對數勝算等於 w0+j∑wjxj,其中
wj=logθj0θj1−log1−θj01−θj1,w0=log1−ππ+j∑log1−θj01−θj1.
因此其決策邊界是 x 空間中的超平面。相比之下,最近鄰方法的邊界可以隨訓練點的分布彎曲。
假設有甚麼含義?
條件獨立說的是每個類別內的情況,並不是說混合各類別後,特徵在邊際分布中仍然獨立。本節最後一題會展示:即使各類別內的特徵獨立,整體上它們通常仍有依賴關係。類別會共同影響各特徵。
這亦不是因果假設。它沒有宣稱真實世界中的特徵不互相影響,也沒有宣稱類別「導致」特徵;它只是聯合分布的一個分解方式。
如果此模型就是真實分布,它計算出的後驗便是正確的條件概率 P(Y=1∣X=x)。這個結論以模型正確為前提。若參數是從數據估計的,或獨立假設不成立,模型給出的 [0,1] 數值未必符合真實頻率;校準程度需要檢查,不能預設。
決策、代價與平手
得到後驗概率並不等於已作出決策。記 p=P(Y=1∣x)。設真實類別為 0 卻預測 1 的代價為 cFP,真實類別為 1 卻預測 0 的代價為 cFN;正確決策的代價為零。
設 cFP,cFN≥0 且 cFP+cFN>0。預測 1 的期望代價嚴格小於預測 0 的期望代價,當且僅當
p>cFP+cFNcFP.
預測 1 只在 Y=0 時付出 cFP,故其期望代價為 (1−p)cFP;預測 0 的期望代價為 pcFN。不等式 (1−p)cFP<pcFN 可整理為 cFP<p(cFP+cFN),再除以正數之和即得門檻。
兩種錯誤的代價相等且為正時,門檻為 0.5。若 p 是正確的後驗概率,這條考慮代價的規則會使期望代價最小;代價相等且為正時,它亦使誤分類率最小。估計出來或模型設定錯誤的分數一般沒有這個保證。漏判正類的代價較高時,門檻便低於 0.5。
等號成立時,兩個行動的期望代價相同,仍須訂明如何選擇。本節採用固定慣例:平手預測類別 0。代價相等時,後驗恰好為 0.5,即對數勝算恰好為 0,便預測 0。
例題
設 π=0.2、θ11=0.8、θ10=0.2、θ21=0.6 及 θ20=0.3。先驗勝算為 0.2/0.8=1/4。特徵 1 的兩種可能似然比分別是:
- 出現:0.8/0.2=4;
- 不出現:0.2/0.8=1/4。
特徵 2 則為:
- 出現:0.6/0.3=2;
- 不出現:0.4/0.7=4/7。
模式 x=(1,1)。 後驗勝算為
41⋅4⋅2=2.後驗概率為 2/(1+2)=2/3,預測類別 1。
模式 x=(1,0)。 第二個特徵不出現,貢獻 (1−θ21)/(1−θ20)=4/7。後驗勝算為
41⋅4⋅74=74.後驗概率為 (4/7)/(1+4/7)=4/11≈0.364,預測類別 0。
同樣的數字也可整理成上文推導的線性分數 w0+j∑wjxj,並由此看出代價門檻如何移動決策。
沿用上例參數,
w1=log4−log41=log16,w2=log2−log74=log27,w0=log41+log41+log74=log281.四個模式的後驗勝算為 ew0+w1x1+w2x2:
- (0,0):1/28,後驗 1/29;
- (0,1):(7/2)/28=1/8,後驗 1/9;
- (1,0):16/28=4/7,後驗 4/11;
- (1,1):16⋅(7/2)/28=2,後驗 2/3。
最後兩項與上面的直接計算一致。代價相等時只有 (1,1) 被判為類別 1。若漏判正類的代價是誤報的三倍,即 cFN=3cFP,門檻為 1/4;此時後驗為 4/11>1/4 的 (1,0) 亦判為類別 1,而後驗為 1/9 的 (0,1) 則不會。邊界情況:若第三個特徵滿足 θ31=θ30,則 w3=0,它對 w0 的貢獻亦是 log1=0,所以無論出現與否都不改變分數。
在第一個例題中,若對 x=(1,0) 只乘上出現特徵的比值,勝算為 41⋅4=1,即平手,而不是正確的 4/7。這不是伯努利樸素貝葉斯省略了一步,而是捨棄缺席特徵所帶證據的啟發式分數,亦不會自動成為經正規化的概率模型。此例中,所報分數由 4/11 變為 1/2。
數值計算:對數與零
當特徵數以百計時,乘積 j∏θjyxj(1−θjy)1−xj 可能小於浮點數能表示的最小正數,造成下溢。相加對數可以避免這個問題。實際上,可分別計算兩個對數聯合分數 logπ+j∑log(⋯) 和 log(1−π)+j∑log(⋯),然後比較或相減。
定理要求 0<θjy<1,但估計值可能違反此條件。若估計值為 0 而相應特徵出現,計算便涉及 log0。軟件可能默默返回 −∞ 或 NaN,分類器於是只憑一個特徵就宣稱某類別不可能。這種結果應經審慎決定,而非任由算術處理。常見做法是下文的平滑。
條件獨立不成立時
反例模式
重複特徵把證據計算兩次
設 π=0.2。在每個類別內,令 X2=X1 恆成立,並設 P(X1=1∣Y=1)=0.8、P(X1=1∣Y=0)=0.2。每個邊際參數 θjy 都正確:θ11=θ21=0.8,θ10=θ20=0.2。
x=(1,1) 的真實情況。 由於觀察到 X1=1 就必有 X2=1,真實模型中 P((1,1)∣Y=1)=0.8、P((1,1)∣Y=0)=0.2。真實後驗勝算是 41⋅4=1,後驗概率為 0.5,按平手慣例預測類別 0。
樸素計算。 把邊際概率相乘,勝算卻為 41⋅4⋅4=4。所得後驗為 0.8,預測類別 1。
第二個特徵只是重複第一個,但樸素模型把它當成新證據。即使每個單獨參數都估計得完全正確,預測與所報信心仍會改變。重複或高度相關的特徵(例如文字中的同義詞或衍生變量)可能令證據被重複計算,扭曲後驗概率;扭曲的方向並非必然相同。
不可能的模式。 真實模型中,(1,0) 在兩個類別下的概率都是 0,所以 P(X=(1,0))=0,而 P(Y=1∣X=(1,0)) 無定義:貝葉斯定理的分母會是零。不應以模型判為不可能的模式作條件。樸素模型卻給 (1,0) 正概率,這也顯示它沒有正確描述此群體。
估計參數
假設訓練數據對從分類器將服務的群體中獨立抽取。令 ny 為類別 y 的訓練個案數,mjy 為其中 Xj=1 的個案數,並假設 ny>0。
最大似然。 估計時暫時容許閉區間 θ∈[0,1]。類別 y 中特徵 j 的似然為 θmjy(1−θ)ny−mjy,在 θ^jy=mjy/ny 取得最大值。若限制在推導對數勝算時使用的開區間 (0,1),全零或全一樣本只有邊界上的上確界,並沒有達到最大值。當 mjy=0 或 mjy=ny,閉區間估計值為 0 或 1,又會遇到 log0。十篇類別 1 文件中未見某特徵,並不表示它在該類別中不可能出現;有限樣本的零計數會誇大確定程度。
定理 5.4.6
(伯努利參數的 Beta 後驗分布)
令 θjy 的先驗分布為 Beta(α,β),其中 α,β>0。給定類別 y 的 ny 次獨立試驗中有 m 次成功,後驗分布為 Beta(m+α,ny−m+β),其均值為
θ~jy=ny+α+βm+α.
先驗密度在 (0,1) 上與 θα−1(1−θ)β−1 成正比。乘以似然後得到
θm+α−1(1−θ)ny−m+β−1.這是 Beta(m+α,ny−m+β) 的核函數。密度由核函數經正規化決定,所以這便是後驗分布。Beta(a,b) 的均值為 a/(a+b),代入即得公式。
取 α=β=1,即均勻先驗,得到拉普拉斯(Laplace)平滑 θ~jy=(m+1)/(ny+2)。此值必定嚴格位於 (0,1) 內。
設 n1=n0=10,特徵 j 在類別 1 中從未出現,在類別 0 中出現 3 次。最大似然給出 θ^j1=0 及 θ^j0=3/10。對 xj=1 的新個案,此特徵的因子為 0/(3/10)=0,對數勝算為 −∞,無論其他特徵如何,後驗都是 0。
拉普拉斯平滑給出 θ~j1=1/12 及 θ~j0=4/12=1/3。出現時的因子變為 (1/12)/(1/3)=1/4,缺席時的因子變為 (11/12)/(2/3)=11/8。此特徵現在是支持類別 0 的強而有限的證據,其他特徵仍可抵銷它。xj=0 的情況本來就不需修補:最大似然下其因子為 1/(7/10)=10/7,已是有限值。
在明確假設下得到一致的預測似然。 假設:
- 所有 θjy 的 Beta 先驗互相獨立;
- π 已知且固定;
- 給定參數後訓練觀察互相獨立,給定類別及參數後特徵亦互相獨立;新觀察遵循同一模型,且給定其類別及參數後與訓練觀察條件獨立。
似然和先驗均可按 (j,y) 分解,故各 (j,y) 的後驗分布互相獨立。將 θxj(1−θ)1−xj 對每個後驗分布積分,得到 θ~jyxj(1−θ~jy)1−xj。所以這些後驗均值因子的乘積恰好是後驗預測概率 P(X=x∣Y=y,data)。在上述假設下,這證明代入平滑估計值是一個貝葉斯計算;但它不保證所得概率在現實中經過良好校準。
類別先驗是另一個量。 Beta 超參數屬於特徵參數,類別先驗 π 須另行處理。例如,可以根據部署群體的知識固定它;也可在簡單隨機抽樣下用 n1/n 估計,或為它另設 Beta 先驗。
若訓練集刻意組成類別平衡的比例,n1/n 估計的是該比例,而非部署群體的基準率。把它代入作 π,會移動基準率項 log[π/(1−π)],所有後驗亦隨之改變,即使每個 θjy 都估計得很好。
評估時的紀律
所有依賴數據的選擇都只應用訓練折擬合,包括特徵選擇、二元化門檻、缺失值填補規則和 α,β 的平滑強度。保留最終評估集,直至最後才使用。分類指標和概率校準應分開評估:如重複特徵的反例所示,模型排序可以做得好,所報概率卻可能嚴重偏高。此外,上述獨立假設不涵蓋群組或重複觀察(例如同一人有多筆紀錄)、時間依賴,亦不涵蓋訓練和部署群體之間的分布轉變。
練習
快速檢查
(保留第一個例題的特徵參數(θ11=0.8、θ10=0.2、θ21=0.6、θ20=0.3),但取平衡先驗 π=0.5。計算 P(Y=1∣X=(1,0)) 及代價相等時的預測。)
解答 · 引導解答
先驗勝算現在是 1。特徵 1 出現,貢獻 4;特徵 2 不出現,貢獻 (1−0.6)/(1−0.3)=4/7。所以後驗勝算為 16/7,而
P(Y=1∣x)=23/716/7=2316≈0.696.預測類別 1。在 π=0.2 時,同一模式的後驗為 4/11,判為類別 0:基準率項由 log(1/4) 變為 0,特徵證據 log(16/7) 則不變。
快速檢查
(設 π=0.1,而所觀察的 x 之總似然比為 P(x∣1)/P(x∣0)=4。求後驗概率及代價相等時的預測。)
解答 · 引導解答
先驗勝算為 0.1/0.9=1/9,故後驗勝算為 4/9。後驗概率為
13/94/9=134≈0.3077,預測類別 0。雖然這證據在類別 1 下出現的可能性是類別 0 的四倍,但起初基準率的勝算是 1 比 9,因此類別 1 仍較不可能。大的似然比本身未必能克服很小的先驗概率。這也解釋了為何各類別偵測率良好的分類器,在罕見類別上仍可能有低精確率。
快速檢查
(只用一個特徵,固定 π=0.4,並設 n1=3、m1=2、n0=4、m0=1。分別用拉普拉斯平滑及代入最大似然估計計算 P(Y=1∣X1=1)。然後解釋某類別沒有訓練個案時會怎樣。)
拉普拉斯平滑在每個類別計數中加入一次成功及一次失敗。
解答 · 引導解答
先驗勝算為 0.4/0.6=2/3。
拉普拉斯平滑。 估計值為 θ~1=3/5 和 θ~0=2/6=1/3。後驗勝算為
32⋅1/33/5=32⋅59=56,故後驗概率為 6/11≈0.545。
最大似然。 估計值為 θ^1=2/3 和 θ^0=1/4。後驗勝算為
32⋅1/42/3=32⋅38=916,故後驗概率為 16/25=0.64。
兩者均預測類別 1。平滑把每個估計值拉向 1/2,使信心較溫和。兩個數值都不是自動等於現實中的概率:它們均依賴假設,且樣本很小。
空類別。 若 ny=0,則 mjy/ny=0/0 無定義。特徵似然對參數而言是常數,因此每個容許值都使似然最大;沒有由數據確定的唯一最大似然估計。若先驗為 Beta(α,β),後驗便等於先驗,均值為 α/(α+β)(拉普拉斯情況下為 1/2)。這只反映先驗信念,並非從數據學得,報告時應清楚說明。
快速檢查
(設 π=0.5,θ11=θ21=0.8、θ10=θ20=0.2,且給定 Y 時 X1,X2 條件獨立。X1 和 X2 邊際獨立嗎?)
解答 · 引導解答
每個邊際概率為 P(Xj=1)=0.5(0.8)+0.5(0.2)=0.5。由每個類別內的條件獨立性,
P(X1=X2=1)=0.5(0.82)+0.5(0.22)=0.5(0.68)=0.34.邊際獨立需要此值為 0.5⋅0.5=0.25,故兩特徵邊際上有依賴關係。等價地,P(X1=1∣X2=1)=0.34/0.5=0.68=0.5。依賴關係來自混合兩個類別:看到 X2=1 使類別 1 更可能,進而使 X1=1 更可能。
此處樸素貝葉斯模型正確,故其後驗概率準確;邊際依賴與模型假設完全相容。重複特徵的反例則不同:依賴關係在每個類別內仍然存在,似然分解不成立,相乘邊際概率會把證據計算兩次。