由標籤建立概率模型
分類器接收特徵並選擇標籤。樸素貝葉斯(Naive Bayes)先建模各類別內特徵的分布,再反轉條件方向比較類別概率。這是基於模型的規則:答案取決於估計概率和連接各特徵的假設。
考慮兩個類別 和兩個二元特徵 。模型假設在給定類別下 條件獨立:對每個類別 和每對值 ,
這不是一般的無條件獨立,必須有理由支持或當作近似。每個類別的先驗概率須為正,條件項才有意義。
分數與平滑
定義 3.1.1
(未正規化的類別分數)
對於觀察到的 及先驗 的類別 ,未正規化的類別分數定義為
命題 3.1.2
(由類別分數得出後驗)
設 為僅有的兩個類別,,並假設在給定類別下 條件獨立。若 ,則對 ,
證明
(全概率公式,再用貝葉斯公式)
由條件獨立,對每個類別都有 ,所以 就是聯合概率 。類別 劃分整個樣本空間,由全概率公式得 ,依假設為正。貝葉斯公式於是給出 。
兩個類別共用同一正分母,因此分數較大者的後驗概率也較大。若分數相同,分類器須明確指定平手規則。正規化的數字是模型下的後驗概率;它不自動保證對新數據已校準。
證明透視
模型與劃分分別用在哪裏
這裏用了兩項成分,而且作用不同。把樣本空間劃分為 與 提供分母:正是它令 成為觀察特徵的概率,所以同一個總和可以除兩個分數。條件獨立提供分子:這是唯一容許以兩個邊際概率之積代表聯合概率的地方。先驗為正,是為了令「給定類別」的條件有意義;總和為正,則是為了能夠相除。
也要留意論證沒有確立甚麼。它只表明 是模型的後驗;分數之比用作比較始終有意義,但只有在獨立性假設對數據成立時, 才等於真實的聯合概率。單一個分數亦不是概率,因為兩個分數之和不一定為一。
下面的例子說明因子分解不成立時會怎樣。
反例模式
條件獨立是模型假設
在某類別中,設 ,但 恆成立。則 ,而邊際概率之積是 。相乘會錯誤描述此聯合分布;平滑邊際概率不能消除這種依賴。
定義 3.1.3
(二元 Laplace 平滑)
假設訓練樣本中類別 有 個例子,其中 個滿足 。參數為一的二元 Laplace 平滑估計
兩個分子之和為 ,所以估計值構成概率分布。對 及每個類別分別使用同一規則。
下面使用未平滑的經驗類別先驗;平滑先驗是另一個須說明的模型選擇。平滑避免某個特徵值因未在類別樣本出現而被估為零概率,但它不能證明條件獨立。
例子
例題 3.1.4
(類別均衡的兩類分數)
八個訓練例子中,每類各四個。類別 有三個 、三個 ;類別 有一個 、兩個 。經驗先驗為 。對觀察特徵 ,平滑後 的兩個概率為 , 的為 。因此
總和是 ,故模型後驗為 。 分數較大,誤分類成本相同時模型預測 。各特徵的個別計數足以完成此模型計算,卻不能證明獨立性假設符合訓練數據的聯合分布。
例題 3.1.5
(某類別從未出現的特徵值)
設每類各有四個訓練例子。類別 中沒有 ,有兩個 ;類別 中有三個 、一個 。先驗各為 ,觀察為 。
不平滑時,,,所以 被完全排除。平滑後,類別 有 、,類別 則為 和 。於是 ,。總和為 ,所以 ,。兩種做法都預測 ,但平滑把「絕對排除」改為 的後驗為 。
例題 3.1.6
(改變先驗會改變決策)
保留第一個例子平滑後的似然,即 為 、 為 ,但假設 很罕見,,。則 ,。總和為 ,所以 ,。預測由 轉為 :特徵與似然完全相同,只是類別比例不同。
限制
即使後驗概率固定,誤分類成本不同也可改變最優決策規則。類別不平衡會改變先驗,從而改變分數。分母為零時所述後驗沒有定義;若各先驗為正,且每個有限二元特徵都使用參數一平滑,兩類特徵概率均為正,此模型便避免該問題。評估泛化及校準需要另外的留出數據,不能由訓練計算確立。
常見錯誤
(把分數當作概率)
把 報告為「 有約 22% 機會」是錯的: 是類別與觀察特徵的聯合概率,而且兩個分數之和是 ,不是 。須先除以 ;在第一個例子中, 的後驗是 。
常見錯誤
(忘記平滑分母中的 +2)
只在分子加一而分母仍用 ,當 且沒有例子滿足 時, 得 , 得 。這連概率也不是,因為 ,兩者之和為 。用分母 則得 與 ,和為一。
練習
快速檢查
(在第一個例子中,計算 以及 的後驗概率。)
使用分數 和 。
解答 · 答案
總和是 ,。
快速檢查
(若 且類別 中沒有例子滿足 , 的平滑估計是多少?)
套用參數為一的規則,特徵有兩個可能值。
解答 · 答案
參數為一的二元平滑給出 。
快速檢查
(在依賴性反例中,計算 ,並與邊際概率之積比較。)
利用 及 。
解答 · 答案
由於 ,聯合概率為 ,而邊際之積是 。
快速檢查
(若兩個類別分數相等且為正,兩個正規化後驗概率各是多少?還有甚麼決策細節未指定?)
把每個分數除以它們的和。
解答 · 答案
兩個正規化概率都是 。仍須指定平手規則,或反映不同成本的決策規則。