為何概率需要獨立評估
兩個分類器可以作出完全相同的硬分類,卻報出很不一樣的概率。若門檻為二分之一, 與 都會產生類別一。如果相關群組的事件實際只在約一半情況發生,這兩種概率陳述應獲得不同評價,即使它們的零一決策一致。反過來說,改善概率可能不改變某種損失下的任何決策,卻會改變另一種損失下的決策。
因此,預測概率不只是附在標籤旁的一個信心數字。它是關於事件的數值陳述,必須相對某個指明的總體來評估。本節以二元標籤及有限多個分數值發展這個觀念。有限設定讓我們逐一證明恆等式,列明所有概率,並完整計算成本敏感的例子。以下表格是刻意建構的人造數據;精確分數服務於教學,並非真實數據集的研究結果。
總體與預測分數
定義 28.1.1
(有限分數、條件頻率與校準)
設 有一個指明的聯合概率分佈,其中 ,預測分數 在 內取互異值 。對每個具有正概率的分數值,定義
如果每個 都有 ,便稱此預測相對這個總體是校準的。二元 Brier 損失為 ,總體 Brier 分數為 ;數值愈小愈好。
這些概率可以來自均勻抽取的有限總體,也可以描述更一般的分佈。只涉及這一個聯合分佈的恆等式不需要獨立性假設。當我們用另一組樣本估計概率時,獨立性才會發揮作用。
校準是相對於分數保留的資訊及正在評估的總體而言。它並不聲稱,在給定全部可用特徵後,每個獲分配 的個體都有一個恰為 的隱藏真概率。它聲稱的是:給定這個分數,條件事件頻率為 。一個分數在某總體校準,不代表當它與標籤的聯合分佈改變後仍然校準。
定義 28.1.2
(嚴格適當的概率損失)
如果對每個 ,在 下,報出 是期望損失唯一的最小化選擇,便稱此二元概率損失為嚴格適當。此定義討論概率分佈下的期望損失,而不是單次已實現標籤的損失。
對二元 Brier 損失,直接展開便有
最後的平方非負,且恰在 時為零,端點也包括在內。這便證明了嚴格適當性。相反,若只看一次已出現的正標籤,其已實現損失在 最小;這不構成在每次不確定事件發生前都預測一的理由。期望損失與事後損失回答不同問題。
有些作者會把概率向量 的兩個座標的平方誤差相加。對二元標籤,該慣例給出 。本節所有 Brier 量都採用上述單座標慣例。
可靠性、分辨能力與不確定性
定理 28.1.3
(精確有限 Brier 分解與理想再校準)
對上述有限分佈,定義
則
定義總體再校準 :當 時令 。即使幾個 相同, 仍然校準,而且
此外,在對每個原分數群組指定一個固定數值的所有數值預測中, 唯一地最小化 Brier 風險。
證明
(先在每個分數群組內取條件期望,再加總群組)
給定 ,嚴格適當性的恆等式給出
以權重 平均。由於 ,
這兩個等式便證明了分解。以 代替 ,恰好移除了平方偏差。更一般地,以任意 代替它,便得到相同的不可約項,加上 ,所以可逐群組證明唯一性。
要證明合併後仍然校準,固定 的一個值 。它的原像恰是那些 的分數群組。因此
分母為正,所以此條件概率有定義。證明不需要再校準映射是一對一的。
這裏的可靠性量度是一個非負偏差:REL 愈小愈好,為零等價於分數在其支撐上校準。分辨能力量度群組條件事件頻率偏離整體盛行率的程度。在同一總體中固定可靠性量度後,分辨能力愈高,Brier 損失愈低。不確定性則是在同一總體中永遠預測 的 Brier 損失。因此,直接比較不同盛行率總體中的原始分數,可能把預測品質與基準任務的差異混為一談。
定理中的映射 是理想映射:它使用總體聯合分佈。擬合的再校準映射只是在估計它,未必能改善新觀測的風險。精確改善恆等式不容許我們直接代入帶噪音的估計值,再宣稱有相同改善。
證明透視
兩種不同來源的平方誤差
第一個條件恆等式把預測與群組頻率的偏差,和群組內隨機標籤的變動分開。第二個恆等式則把群組頻率之間的變動,和整體標籤不確定性分開。兩步都使用相同的分數群組和概率權重。任意擴闊區間的直方圖會改變這些群組;它需要額外計算,不能直接繼承原分數的精確分解。
一個完整的有限表格
例題 28.1.4
(六十筆等可能紀錄組成的人造總體)
建構六十筆可區分的紀錄,並均勻抽取一筆。A 組的三十筆紀錄獲分數 ,其中三筆標籤為正;B 組的二十筆獲 ,其中十筆為正;C 組的十筆獲 ,其中八筆為正。完整分佈如下:
| 群組 | 分數 s | 筆數 | 正標籤 | 負標籤 | 權重 p | 事件頻率 q |
|---|---|---|---|---|---|---|
| A | 1/5 | 30 | 3 | 27 | 1/2 | 1/10 |
| B | 3/5 | 20 | 10 | 10 | 1/3 | 1/2 |
| C | 9/10 | 10 | 8 | 2 | 1/6 | 4/5 |
總體盛行率為 。每個分數都比其群組頻率高 ,所以 。其他各項為
我們也可以不用定理而直接核對。A、B、C 的總平方損失分別為 、 和 ;把總和除以六十,就得到 。理想再校準把預測改為 ,令 Brier 分數降至 。減幅恰為 。
如果這些筆數只是來自未指明總體的一個建構樣本,同樣的運算就只是一個精確的經驗恆等式。單憑表格不能證明群組頻率就是總體概率。
常見錯誤
(完全校準的預測不一定是好預測)
可靠性只是三項之一。在六十筆紀錄的表格中,永遠報出盛行率 是完全校準的:它唯一的群組事件頻率為 ,所以 、,Brier 分數便是 。上述三群組預測的 ,Brier 分數 卻更好。REL 小只說明報出的數字誠實,並不說明它們能區分個案。
從概率走向有成本的決策
定義 28.1.5
(兩種錯誤成本與以分數作出的行動)
設假陽性成本為 ,假陰性成本為 ,正確決策成本為零。對任何二元行動規則 ,以 表示在同一總體下的期望成本。記
上述規則在等於門檻時選擇行動一。定義理想行動 的是總體條件頻率,而不是原分數。
定理 28.1.6
(分數資訊下的 Bayes 風險與校準至成本的界)
在所有只使用 的規則中, 最小化期望成本。把原分數門檻規則與它比較,超額風險為
精確恆等式包括相等情況,因為該情況的條件後悔值為零。此界比較兩個取得相同分數資訊的規則;它並非相對於使用所有原特徵的規則的保證。
證明
(比較兩個條件成本,再找出跨越門檻的位置)
在第 組,行動一的條件成本為 ,行動零的條件成本為 。前者減後者為 。所以 時選一最優,而 時選零最優。在群組內隨機選擇行動,其成本是這兩個成本的凸組合,所以不可能優於兩者的最小值。
兩個門檻規則不同時,選擇非最優行動會增加 ;兩者相同時,後悔值為零。平均後就得恆等式。當兩者不同, 和 位於門檻兩側,並容許其中一點恰在門檻。因此 。最後,由加權 Cauchy–Schwarz 不等式,
這證明了所求的界,無須假設不同觀測互相獨立。
例題 28.1.7
(同一表格,配上指明的不對稱損失)
取 、,所以決策門檻為 。原預測在 A、B、C 選擇行動 。理想頻率則選擇 :B 組的事件頻率是 ,小於 。
對六十筆等可能紀錄,原門檻的總成本為 ,風險為 。理想再校準後,總成本為 ,風險為 。改善幅度為 。後悔值公式也給出相同結果:
上界為 ,有效但頗鬆。如果兩種錯誤成本相等,並採用已指明的相等時選一規則,兩種預測都會選擇 。再校準仍然改善 Brier 分數,但不改變該決策風險。概率評估與決策評估由所選損失連接,兩者不能互換。
常見錯誤
(兩種錯誤成本不同時仍用二分之一作門檻)
取 、,表中 B 組的事件頻率為 。按預設門檻 會在該組選行動一,每筆紀錄的期望成本為 ,而行動零的成本是 。正確的門檻是 。對整個總體平均,預設選擇比最佳的依分數規則多花 。門檻由成本決定,而不是由概率的尺度決定。
反例模式
完美校準仍可能隱藏完全有用的特徵
設 是公平的二元變量,並永遠報出 。這個分數校準,因為它唯一群組的事件頻率是 。在相等的單位錯誤成本下,門檻行動永遠選一,風險為 。使用特徵的規則 的風險卻為零。這與定理沒有矛盾:定理只比較受限於 的規則,而 已丟棄了 。
更一般地,若 是特徵 的有限值確定函數,且 與 聯合定義,記 。條件期望給出 。展開平方,再把交叉項對 取條件期望,可得
第二項量度只保留 而失去的概率資訊。在此例它等於 ,即使 REL 為零。校準修復分數的概率尺度,卻不能重建分數已不再記錄的特徵。
分箱與有限評估改變了甚麼
例題 28.1.8
(為何較闊的校準分箱會改變恆等式)
對每個格子都具有正概率的任何有限分割變量 ,記 和 。展開條件平方後有
前兩項是粗化預測 的條件 Brier 損失;後兩項則描述以組平均代替 帶來的改變。若每個箱只包含一個確切分數值,後兩項會消失;對較闊的箱卻未必如此。
一個精確反例是令 ,零和一各以二分之一概率出現,再把兩者放進同一箱。原 Brier 分數為零。分箱平均及事件頻率都等於 ,所以略去修正的箱層公式給出 。此時條件方差和協方差都等於 ,修正為 ,恰好還原正確答案。一張看似完美的單箱可靠性圖,並沒有量度原預測的分辨能力。
要評估學到的校準映射,首先必須把擬合它的觀測與最終評估觀測分開。在不使用最終測試標籤的情況下,擬合基礎預測器及每個經選擇的轉換。用容許的校準部分估計校準映射;若其模型族或調校參數也要選擇,該選擇同樣必須留在開發數據內。在查看最終測試標籤前,固定映射及任何決策門檻。指明錯誤成本及目標總體,而不是選擇一個讓測試結果較好看的成本。
對來自目標總體的獨立同分佈測試對,給定已擬合的整條處理程序,平均測試 Brier 損失的期望就等於其總體 Brier 風險。同一道理也適用於事前指定的有界成本損失:給定擬合規則,再平均測試損失。這個論證使用測試樣本與所有已擬合或已選擇的項目獨立的假設。它不表示測試估計等於其期望,也不表示經驗擬合的校準曲線是無偏的總體曲線。
即使預測完美校準,也會出現抽樣噪音。如果一個固定分數群組的總體頻率為 ,並有 個獨立標籤,則 的平均為 ,方差為 。因此
若 、,這個經驗可靠性偏差的期望為 ,雖然總體偏差為零。公式假設群組大小固定,標籤是具有所述概率的獨立 Bernoulli 變量。數據決定的分箱、反覆挑選的圖形,以及重複使用擬合分數,都需要額外分析。
概念視角結構
對同一概率預測提出三個問題
Brier 風險問數值預測能否好好預測二元標籤。校準問每個保留的分數群組是否具有報出的事件頻率。決策風險則問,以某個成本門檻把數字變成行動後,會有甚麼結果。同一有限表格可以回答三個問題,但答案包含不同資訊。評估報告應先說明問題,再列出數字。
練習
快速檢查
(一個 Bernoulli 事件的概率是 。比較報出 與 時的期望二元 Brier 損失。解釋為何一次已出現的負標籤不會推翻嚴格適當性。)
先展開兩個條件期望損失,再代入任何已觀察結果。
解答 · 答案
取 時,損失永遠為 。取 時,期望損失為 。兩者差值 等於 。在此模型下,負標籤發生的概率為 ,而且它令 的已實現損失大於 。嚴格適當性討論對兩個可能標籤取期望,而不是對每個個別結果都佔優。
快速檢查
(兩個分數群組權重相等,分數為 及 ,事件頻率為 及 。計算盛行率、REL、RES、UNC、原 Brier 分數及理想再校準後的 Brier 分數。)
把平方偏差和群組頻率之間的變動分開。
解答 · 引導解答
盛行率為 。每個分數的絕對偏差是 ,所以 。每個頻率與盛行率相差 ,所以 ,而 。因此原 Brier 分數為 。理想再校準移除 ,剩下 。原預測與再校準預測在門檻 下選擇相同行動。
快速檢查
(在六十筆紀錄的表格中,令假陽性成本為四,假陰性成本為一。求原行動、理想行動、兩者共同的風險,以及理想規則中的相等情況。)
在條件概率為 時,直接計算兩個行動各自的成本。
解答 · 引導解答
門檻為 。原預測選擇 ;在所指明的相等時選一規則下,理想頻率也選擇相同行動。在 C 組,選一的成本為 ,選零的成本同樣為 ,所以任何一個理想行動都最優。六十筆紀錄的成本為 ,共同風險是 。如果 C 組選零,該組改為出現八次假陰性,仍然花費八。再校準改善 Brier 分數,卻不改善這個成本。
快速檢查
(某有限定義域有 個不同輸入,每個輸入只有一個互相獨立的公平訓練標籤,並有 個互異且事前指定的原分數。一個經驗再校準器把每個分數改為它唯一觀察到的標籤。求訓練 Brier 分數,並對均勻選取的輸入及其獨立公平新標籤,求期望 Brier 分數,再與永遠報出 比較。)
先給定已擬合的查找表,再評估新標籤。
解答 · 答案
每個擬合分數都等於其訓練標籤,所以訓練 Brier 分數是零。給定任何已擬合的查找表,一個新的公平標籤以二分之一概率,與表中儲存的零或一預測相同。因此,每個輸入的期望新損失都是 ,平均所有輸入後亦然。永遠報出 ,對任一新標籤的損失都是 。表面上的完美經驗校準,正是使用相同標籤來擬合的;它不是總體校準或泛化的證據。此建構沒有宣稱訓練輸入獨立同分佈:它明確地在有限定義域的每個不同輸入取一個標籤。