分類器分數為樣本排序;閾值則把排序轉換為決策。因此,同一組分數可以產生多個混淆矩陣,而不只一個。接收者操作特徵(ROC)曲線展示閾值移動時,真正率如何隨假正率變化。曲線下面積(AUC)概括排序能力,但它本身不能告訴我們精確率或最佳閾值。
路線與假設
首先畫出固定閾值下的混淆矩陣。然後按不同分數排序,令同分樣本整組移動。接著以兩種方法計算 AUC:ROC 點之間的梯形面積,以及正負樣本配對比較。最後利用正類比例解讀精確率及決策成本。假設分數越高,越支持正類;分數大於或等於閾值便預測為正類。計算經驗 ROC 及 AUC 時,正負兩類均須出現。
定義 7.2.1
(ROC 點與 AUC)
設 及 分別為正負樣本數。真正率為 ;假正率為 。ROC 點為 。閾值高於所有分數時,點為 ;閾值小於或等於最低分時,點為 。ROC 曲線以線段連接相繼的不同分數水平所得的點,而 AUC 就是這條分段線性曲線下的面積。
為何同分樣本一起移動
假設某個分數等級有 個正樣本及 個負樣本。閾值下降並越過該等級時,TPR 增加 ,FPR 同時增加 。只依賴分數的確定性規則不能接納同分組的一個成員而拒絕另一個。連接兩個閾值點的線段內部點,可以按適當概率隨機選擇較寬鬆的規則,從而在期望上實現;隨機選擇須獨立於真實類別。額外特徵或固定的同分取捨規則也可以拆分同分組,但那是另一個決策規則,可能產生不同的比率。
例題:兩種方法得到相同 AUC
例題 7.2.2
(兩種方法得到相同 AUC)
正樣本分數為 ,負樣本分數為 。表格從高於最高分的閾值開始,然後依次納入每個完整分數組。所有計數均為累積值。
| 已納入的分數組 | TP | FP | ROC 點 |
|---|---|---|---|
| 無 | 0 | 0 | |
| 1 | 0 | ||
| 1 | 1 | ||
| 2 | 2 | ||
| 3 | 2 | ||
| 3 | 3 |
對線性插值的 ROC 點,水平、斜向及最後水平線段的面積貢獻分別為 、 及 。垂直線段的面積為零。因此 。
另一方法是把每個正樣本與每個負樣本比較:正樣本分數較高記一分,同分記半分,較低記零分。三個正樣本分別貢獻 、 及 分。共有 對,所以 ,結果相同。
定理 7.2.3
(AUC 即配對比較)
設 ,並把樣本按不同分數水平分組。則分段線性 ROC 曲線下的面積為
其中 遍歷由一個正樣本與一個負樣本組成的配對。
證明
(逐個水平加總梯形)
把不同的分數水平由高至低排為 ,並設水平 含 個正樣本與 個負樣本。納入水平 之前,真正率為 ;之後為 。納入水平 使點向右移 、向上移 ,所以該線段下的梯形面積為
當 時線段是鉛直的,面積為零,與公式一致。對 求和得 。第一個和數算的是正樣本所在水平嚴格高於其負樣本的配對,即 ;第二個算的是兩者在同一水平的配對,即 。這正是所列的表達式。
配對表達式描述的是從經驗數據中隨機抽取一個正樣本及一個負樣本,並對同分給半分。它不是任意一次單獨預測正確的概率。
證明透視
為何同分剛好得一半
證明只有一個想法:線段的水平寬度與該水平中負樣本的數目成正比,它的平均高度則與嚴格高於該水平的正樣本數,加上該水平內正樣本數的一半成正比。這個一半是水平前後兩個高度的平均,因為同分令點沿著從 到 的一條直弦移動,而不是分成兩個獨立的步驟。
分組正是用到假設之處。若把同分樣本以任意次序逐個加入,曲線便成為階梯,面積取決於所選次序,而配對計數會給同分的配對滿分或零分。因此半分是這條弦的性質,而不是獨立的約定。此恆等式還需要 才可相除,對分數的分布則不作任何假設。
弦的作用在最小的情形中最為清楚。
反例模式
同分不是嚴格取勝
斷言:AUC 是正樣本分數嚴格高於負樣本的配對所佔的比例。取一個正樣本和一個負樣本,分數同為 。只有一對,沒有嚴格取勝,所以該斷言給出 。但只有一個水平,同時含兩個樣本,ROC 曲線由 直達 ,面積為 。修正後的陳述給出 。若改為把同分的一對任意排序,便會得到面積為 或 的階梯,那是另一條依賴次序的規則。
例題 7.2.4
(所有分數相同)
設有 個正樣本與 個負樣本,分數全部相同。ROC 點只有 與 ,所以 。按配對計算,全部 對都是同分,得 。常數分數不含任何排序資訊,而 AUC 恰好反映這一點。
例題 7.2.5
(已校準後驗概率上的成本閾值)
設 、,且分數是已校準的後驗概率。當 時預測為正。對 ,預測為正的期望成本為 ,預測為負為 ,所以預測為正較便宜。對 ,成本分別為 與 ,應預測為負。在 時兩者成本同為 ,兩種決策皆可。閾值遠低於 ,因為漏掉一個正類的成本是一次誤報的四倍。
ROC 不是精確率
設正類比例為 ,靈敏度為 ,假正率為 。只要 ,貝葉斯(Bayes)公式給出
當 、 時,正類比例為 的精確率是 ,正類比例為 的精確率是 。這些比較固定了類別條件比率;換一個總體時,這些比率也可能改變。如果分母為零,精確率無定義,並不會自動等於零或一。高 AUC 本身不能確定精確率、校準程度或成本最優閾值。
分數與後驗概率
分數不一定是經校準的概率。如果分數 是經校準的後驗概率 ,假陽性成本為 ,假陰性成本為 ,而正確決策的成本為零,則預測為正及預測為負的條件期望成本分別為 及 。當
時預測為正;等號成立時,兩種決策均可。這依賴上述成本及目標總體的正確後驗概率。僅憑排序分數或 AUC,不能直接使用這個概率閾值。
常見錯誤
(把 AUC 當作預測正確的機會)
AUC 為 並不表示 的預測正確。它比較的是正負配對之間的分數;準確度、精確率及最佳閾值是另外的問題,取決於流行率與成本。
常見錯誤
(把同分的配對算作勝或負)
當正樣本與負樣本分數相同時,給滿分或不給分都會改變 AUC。在主要例題中,分數同為 的正樣本與負樣本應貢獻 ;若算作勝,該例會得 而非 ;若算作負,則得 。
反例模式
AUC 相同不代表曲線相同
斷言:AUC 相同的兩個評分器可以互換。取 個正樣本和 個負樣本。評分器 A 給正樣本 、負樣本 ;評分器 B 給正樣本 、負樣本 。按配對計,A 有 勝 同分,;B 有 同分 勝,同樣是 。但 A 的點是 ,B 的點是 :A 在沒有假陽性時就達到 ,B 則要 才能找到任何正樣本。修正方法是比較曲線本身,或比較應用所能容忍的 範圍。
練習題
快速檢查
(正樣本分數為 ,負樣本分數為 。以配對方式計算 AUC。)
列出全部四對;同分得半分。
解答 · 答案
四對為 勝、 勝、 負、 同分。總分為 ,共 對,所以 。
快速檢查
(某分類器的 、。流行率為 時,精確率是多少?)
利用流行率套用貝葉斯公式。
解答 · 答案
精確率為 。
快速檢查
(若 、,已校準後驗概率 為何值時兩種決策成本相等?)
令兩個期望成本相等。
解答 · 答案
成本 與 相等時 ,所以 ,與 一致。
檢查清單
- 說明分數方向及閾值慣例;包括端點,並讓同分組一起移動。
- TP 除以正樣本數,FP 除以負樣本數;檢查兩個分母都為正。
- 區分確定性點及隨機插值;計算梯形 AUC 時同分計半分。
- 由正類比例及類別條件比率計算精確率,並檢查分母。
- 只有在校準及明確成本假設成立時,才使用後驗決策閾值。