比較分佈與模型
概率分類器或密度模型給出的是概率,不只是標籤。模型可能對實際發生的事件給予過低概率,對數損失會懲罰這種選擇。要分析損失,必須分清作比較的目標分佈與被評估模型,並明確處理零概率。
定義 9.1.1
(熵、交叉熵與相對熵)
令 和 為同一有限非空字母表上的概率分佈:各項非負且各自的總和為一。所有對數均為自然對數。定義
若有 但 ,定義 。 的項貢獻零,即使 亦然。若所有這類 ,定義 ;否則設為 。這些慣例避免把未定義的 當成普通乘積。
非負性定理
定理 9.1.2
(有限字母表上的 Gibbs 不等式)
對任何上述 ,有 ,且等號當且僅當 。另外 ,等式兩邊允許取值 。因此固定 時,在該字母表上的所有分佈 中,交叉熵於 唯一達到最小。
證明
(在 p 的支撐集上用切線不等式)
若某個正的 對應 ,則 且 ,結論成立。否則凡 處都有 。對 有 ,且僅在 取等號。對每個 的 取 ,乘以 並求和:
所以 。取等號迫使每個 的 都有 ;這些 的總和已是一,所以其餘座標也有 。反過來 時 。
至於恆等式,當支撐集上 時,對每個 的 有 ,求和即得 。若某個正的 對應 ,則 與 都等於 。固定 時,熵 是有限常數,所以對 最小化 就是最小化 ,其唯一最小者為 。
證明透視
Gibbs 不等式中各項假設的作用
證明中唯一不顯然的一步,是在 處的切線不等式 。它把比值的對數換成線性式,於是和式化為 ,除此以外不需要 與 的任何其他性質。不等式在 時嚴格成立,才使 只在 時取等號。證明把 的支撐集分開處理,有兩個原因。 的項不出現在 中,所以 可以小於一;這個損失恰是餘量 ,也說明了為何取等號時 在支撐集之外必須為零。支撐集上若 , 沒有定義,所以那種情況用 這個值單獨處理。兩個總和都等於一,在最後一步才用到:若 沒有歸一,結論可以失效,例如單字母表上 、 會給出 。
算例
例題 9.1.3
(用公平模型擬合不公平分佈)
取 、。模型交叉熵為 ,而
差值非負,且只有模型等於 時才為零。反過來得到 :相對熵一般不對稱。若改用 ,則 ,因第二結果有正的 概率但模型概率為零。
反例模式
零的位置很重要
若 、,第二項貢獻零,即使 ;散度是 。交換分佈後,第一個參數給某結果正質量,而第二個參數給它零質量,所以 。模型中的零和目標中的零作用不同。
已觀察數據的對數損失
命題 9.1.4
(平均對數損失就是經驗交叉熵)
對字母表中的 個觀察 ,令 計算結果 的出現次數,。對字母表上的每個分佈 ,
若某個已觀察結果的 ,兩邊都是無窮大。因此平均對數損失於 唯一達到最小。
證明
(按結果把觀察分組)
在 項之中,恰有 項等於 ,所以 。 的結果不貢獻任何項,與 的慣例一致。若某個已觀察結果的 ,兩邊都是 。關於最小者的結論,就是取 時的 Gibbs 不等式。
這是對給定數據的代數恆等式,不要求觀察獨立。在獨立取樣模型下,最小化此量亦等於最大似然。非負性定理指出,在所有分佈中無約束的最小者為 ;若限制模型族,可達到的最佳模型可能不同。
例題 9.1.5
(三個模型在同一數據上的訓練損失)
設數據含結果一三次、結果二一次,故 ,。均勻模型 的平均損失為 ,比 多 ,與第一個例子相同。對過度自信的模型 ,
多出約 。所以過度自信的模型訓練損失低於均勻模型,兩者都高於 達到的最小值 。對 ,平均損失是無窮大,因為結果二曾被觀察到。
例題 9.1.6
(訓練頻率中的零)
設字母表有三個結果,訓練計數為 ,故 。訓練損失的唯一最小者是 ,損失為 。它的第三個座標為零,所以之後觀察到結果三時,對數損失為 。平滑後的分佈 給每個結果加上一個偽計數,總和為一,並在結果三上給出有限損失 。它的訓練損失為 ,大於 ,與命題的要求一致。這裏訓練損失與保留數據上的損失方向相反,單靠訓練數據不能決定哪個較好。
訓練損失本身不能量度未來表現,也不能確立校準。保留數據評估和合理取樣模型是另一些問題。目標的熵是該目標的性質;改變對數底會改變單位,並同比例縮放每個有限項。
常見錯誤
(第一個參數是數據分佈)
在 中,第一個參數提供權重。對數據的對數損失而言,它是 ,第二個參數是模型。取 、,我們得到 但 ,所以拿其中一個代替另一個,或把 稱為兩個分佈之間的距離,都是錯的。兩種次序所帶來的危險的零也不同,如上面的反例所示。
練習
快速檢查
(若 ,計算 。)
看比值 。
解答 · 答案
為零,因為支撐集上的兩個比值 都是一,每個對數都為零。這是 Gibbs 不等式的取等情形。
快速檢查
(若 、,計算 並判斷 。)
只有第一個參數中概率為正的結果才有貢獻。
解答 · 答案
,因 ,第二項省略。至於 ,第二個結果有 而 ,所以 。
快速檢查
(數據有三次結果一、一次結果二。經驗分佈是甚麼?在所有分佈中哪個使經驗交叉熵最小?)
應用關於平均對數損失的命題。
解答 · 答案
經驗分佈為 。它在所有分佈中唯一使經驗交叉熵最小,最小值為 。
快速檢查
(為何模型對已觀察結果給零概率會令對數損失出問題?)
寫出該觀察的損失。
解答 · 答案
相應負對數為無窮大,所以無論模型對其他觀察擬合得多好,平均損失都是 。同樣地,乘積似然為零,其負對數不是有限值。