線性分類器輸出一個數 w⊤x+b;邏輯迴歸輸出介乎 0 與 1 的 σ(w⊤x+b)。這兩個數本身都不是決策。我們選定閾值,把分數達到或超過閾值的個案判為陽性,才得到決策。因此,評估分類器需要區分分數所造成的排序和套用在排序上的閾值。本節會用小數據集逐步計算,並說明各指標能告訴我們甚麼、又不能保證甚麼。
分數、閾值與決策
每個個案的真實標籤為 Y∈{0,1},其中 Y=1 表示陽性。已擬合模型給出實數分數 s=s(x);分數越大代表越傾向陽性。閾值 t 對應的決策規則是
Dt=1{s≥t}.
這裏使用非嚴格不等式:分數恰好等於閾值時判為陽性。以下都沿用這個約定。若改為 s>t,閾值等於某個觀察分數時,各格數目便可能改變;報告指標時應交代這個約定。
對邏輯迴歸,概率分數與線性分數給出同一族決策。因為 σ(z)=1/(1+e−z) 嚴格遞增,當 0<t<1,
σ(z)≥t⟺z≥log1−tt.
概率閾值 0.5 對應線性分數閾值 0。不過,邏輯函數的輸出看似概率,並不自動證明它是正確的概率;下文討論不對稱成本時會再處理。
混淆表
固定閾值,考慮含 n 個個案的有限評估樣本。每個個案恰好屬於一格。行代表真實類別,列代表預測類別。
各項常用指標都是數目之比;分母決定它回答哪個問題。
- 準確率 =(TP+TN)/n:全部個案中正確分類的比例。
- 召回率,又稱敏感度或真陽性率(TPR),=TP/P:真實陽性中被標記的比例。
- 特異度或真陰性率(TNR),=TN/N:真實陰性中被判為陰性的比例。
- 假陽性率(FPR)=FP/N=1−TNR:真實陰性中被錯誤標記的比例。
- 精確率或陽性預測值(PPV),=TP/(TP+FP):被標記為陽性的個案中,真正陽性的比例。
召回率和特異度以真實類別為條件,對應表中的行;精確率以預測為條件,對應列。盛行率改變時,這個區別尤其重要。
若 P=0,召回率是 0/0;若沒有任何預測陽性,精確率是 0/0。兩者均未定義。軟件有時回傳 0、1 或發出警告;必須說明採用甚麼慣例,亦不可把慣例當作測量結果。
假設 TP>0。精確率 p 和召回率 r 均有定義且為正,它們的調和平均數為
F1=p+r2pr=2TP+FP+FN2TP.右式在 TP+FP+FN>0 時有定義。當 TP=0 而 FP+FN>0,計數形式等於 0,即使精確率本身未定義亦然。當 TP=FP=FN=0,分母為零,F1 未定義。
令 A=TP+FP,B=TP+FN。於是 p=TP/A,r=TP/B,所以
2pr=AB2TP2,p+r=ABTP(A+B).前式除以後式,並約去正數 TP,得到 2TP/(A+B)。再用 A+B=2TP+FP+FN 即得結果。
約分依賴 TP>0;因此 TP=0 的情況不包含在調和平均數公式的推導中,須視為計數公式的延伸。另外,TN 沒有出現在計數形式內:F1 衡量陽性類別的處理,並非準確率的另一種寫法。
反例模式
準確率高,召回率卻為零
假設 10,000 個個案中 1% 為陽性,即 P=100,N=9900。若「分類器」全部預測為陰性,
TP=0,FP=0,FN=100,TN=9900.準確率是 9900/10000=99%,但召回率為 0/100=0,完全沒有偵測到陽性;精確率 0/0 未定義,計數形式的 F1 則為 0/(0+0+100)=0。盛行率低時,陰性類別主導準確率,高準確率可以掩蓋對陽性的徹底失敗。
含同分的例子
樣本有三個陽性,分數為 0.9,0.7,0.4;三個陰性,分數為 0.8,0.4,0.1。由高至低排列:
0.9(+),0.8(−),0.7(+),0.4(+),0.4(−),0.1(−).閾值 t=0.7。 符合 s≥0.7 的分數是 0.9,0.8,0.7。其中兩個陽性、一個陰性;分數 0.4 的陽性被漏判,而分數 0.4,0.1 的陰性被正確排除。因此 TP=2、FP=1、FN=1、TN=2,各指標為:
- 精確率 =2/3;召回率 =2/3;特異度 =2/3。
- 準確率 =4/6=2/3;F1=4/(4+1+1)=2/3。
五個值相同只是因為數目對稱,並不表示它們衡量同一件事。
閾值 t=0.4。 兩個分數為 0.4 的個案都符合 s≥t。此時 TP=3、FP=2、FN=0、TN=1,因此:
- 精確率 =3/5;召回率 =1;特異度 =1/3。
- 準確率 =4/6=2/3;F1=6/(6+2+0)=3/4。
準確率與 t=0.7 時相同,但召回率、精確率和 F1 都改變了。
需要檢查哪些閾值? 每個決策只取決於其分數是否至少為 t。在兩個相鄰的不同觀察分數之間,決策不變。因此只須檢查每個不同分數,以及一個嚴格高於最大分數的閾值。
兩個 0.4 個案構成同分組:t≤0.4 時兩者都被標記,t>0.4 時兩者都不被標記。任何確定性的單一數值閾值都無法只標記其中的陽性而排除陰性。
ROC 曲線
接收者操作特徵(ROC)把每個閾值對應的 (FPR,TPR) 畫出來,橫軸為 FPR,縱軸為 TPR。由上表得到可達點:
(0,0), (0,31), (31,31), (31,32), (32,1), (1,1).
依照本節的同分約定,端點須特別留意:(0,0) 要求閾值嚴格大於最大分數;t=0.9 仍會標記最高分,得到 (0,1/3)。而 (1,1) 要求閾值不高於最小分數,即 t≤0.1。
降低閾值,跨過一個沒有同分的陽性時,曲線垂直上移 1/P;跨過一個沒有同分的陰性時,曲線向右移 1/N。跨過同分組則同時改變兩個座標,從 (1/3,2/3) 斜向移至 (2/3,1)。
該線段內部的點不能由確定性閾值產生,卻可透過隨機化在期望上達到。例如在 t=0.4 時,對每個同分個案獨立地以概率 q 標記,所得的期望比率為
TPR=32+3q,FPR=31+3q.
當 q 從 0 變至 1,期望點走完整條線段。因此連接後的折線方便概括排序,但並非全部都是確定性操作點。
經驗 AUC
假設樣本至少有一個陽性及一個陰性,即 P≥1、N≥1。經驗 AUC 對所有 PN 個陽性–陰性配對取平均:
AUC=PN1i:Yi=1∑ j:Yj=0∑(1{si>sj}+211{si=sj}).
換句話說,陽性分數高於陰性的配對得一分,同分得半分,最後除以配對總數。
例題 5.7.4
(六個個案的經驗 AUC:配對與面積)
對上述六個個案,逐一比較陽性與三個陰性:
- 0.9 高於全部三個陰性:得 3 分。
- 0.7 低於 0.8,高於 0.4 和 0.1:得 2 分。
- 0.4 低於 0.8、與 0.4 同分、高於 0.1:得 0+21+1=1.5 分。
所以 AUC=(3+2+1.5)/9=6.5/9=13/18。同一結果也可從 ROC 折線下的面積得到:高度 1/3 的水平部分面積為 31⋅31=91;斜線部分為 31⋅21(32+1)=185;最後高度 1 的部分為 31。相加得 182+185+186=1813。
定理 5.7.5
(配對 AUC 等於插值 ROC 折線下面積)
以直線連接確定性的 ROC 點,包括跨越每個同分組的斜線。所得折線下面積等於配對公式中的 AUC,其中同分配對計半分。
每次降低閾值跨過一組相同分數。假設該組含 a 個陽性、b 個陰性,另有 A 個陽性的分數嚴格高於該組。
跨過前曲線高度為 A/P,之後為 (A+a)/P,橫向寬度為 b/N。梯形面積因此是
Nb⋅2A/P+(A+a)/P=PN1(bA+2ab).括號中的 bA 計算 A 個較高分陽性與本組 b 個陰性的嚴格勝出配對;ab/2 是組內 ab 個同分配對的半分。每個陽性–陰性配對恰在其陰性所在組的條帶計算一次;陰性分數較高的配對貢獻零。對所有組相加便得到配對公式。
證明透視
條帶分解依賴甚麼
唯一不明顯的一步,是把每個陽性–陰性配對歸入其陰性所在的組。逐組降低閾值時,ROC 路徑只會向上及向右單調移動,所以各條帶不重疊,面積可以相加。在同一組內,斜線段產生因子 21:直線段下的面積是兩端高度的平均,恰好等於組內 ab 個同分配對的半分。若在同分組改畫階梯,先上後右或先右後上,得分便分別是 ab 或 0,即兩種隨機打破同分的結果。假設 P,N≥1 保證可以除以 PN。
若隨機打破 0.4 的同分,陽性排先時 AUC 為 7/9,陰性排先時為 6/9;兩種次序各有 1/2 概率,期望為 13/18。半分是擲公平硬幣的期望。同分代表無法區分,並非成功區分。完美的 AUC 1 要求每個陽性分數都嚴格高於每個陰性。
AUC 衡量排序,而非校準。 若 g 嚴格遞增,則 si>sj 當且僅當 g(si)>g(sj),同分亦保持不變;每個配對項因此不變。例如 w⊤x+b 與 σ(w⊤x+b) 的 AUC 相同。
概念視角組合
AUC 作為秩和統計量
既然只有分數的次序重要,AUC 便可由秩計算。把全部 n 個分數由低至高排為 1 至 n,每個同分組取其所佔秩的平均,並設 R+ 為陽性個案的秩和,則
AUC=PNR+−P(P+1)/2.一個陽性個案的秩計入它自己、排在它之下的每個個案,以及與它同分的其他個案的一半;減去 P(P+1)/2 即除去陽性與陽性之間的比較。在六個個案中,陽性的秩為 6,4,2.5,故 AUC=(12.5−6)/9=13/18。分子就是 Mann–Whitney 統計量。
校準則關乎分數的實際數值。陽性全得 0.51、陰性全得 0.49,與陽性全得 0.99、陰性全得 0.01 有相同 AUC,但表達的概率主張截然不同。AUC 亦完全不依賴閾值:選擇成本最優閾值不會改變 AUC,成本決策優化的也不是 AUC。
精確率–召回率點
對相同閾值畫出(召回率,精確率)得到
(31,1), (31,21), (32,32), (1,53), (1,21).
當 t>0.9,召回率為 0,精確率未定義,所以沒有對應點。要注意:第一,精確率的分母 TP+FP 混合兩個類別,比例受盛行率影響;盛行率改變時,精確率–召回率曲線可能移動,而分別以類別為條件的 ROC 座標則未必改變。第二,以直線連接精確率–召回率點,一般不代表可達的分類器。若畫出曲線,應說明插值約定,不可假定每個中間點都有實際意義。
盛行率與陽性預測值
現在由樣本轉向總體。令
π=P(Y=1),TPR=P(D=1∣Y=1),FPR=P(D=1∣Y=0).
若 0<π<1 且 P(D=1)=πTPR+(1−π)FPR>0,則
PPV=P(Y=1∣D=1)=πTPR+(1−π)FPRπTPR.
由條件概率的定義,
P(Y=1∣D=1)=P(D=1)P(D=1,Y=1).分子是 P(D=1∣Y=1)P(Y=1)=TPR⋅π。對兩個類別使用全概率公式,分母為
P(D=1)=πTPR+(1−π)FPR.假設 P(D=1)>0 正是使除法有意義所需的條件。
取 TPR=0.8、FPR=0.1。
- 若 π=0.01,則 PPV=0.008/(0.008+0.099)=8/107≈0.07477,每十三個被標記個案之中不足一個是真陽性。
- 若 π=0.5,則 PPV=0.4/(0.4+0.05)=8/9。
相同偵測器在兩個情況下的精確率相差很大。
這計算假設兩個總體的 TPR 和 FPR 相同;數據集分布轉移時,儀器、子群或個案定義改變都可能令條件比率本身改變。此外,評估樣本的計數只估計總體比率。若陽性只有少數幾個,召回率估計會有很大抽樣不確定性,並非總體保證。
不對稱成本與決策閾值
假設我們知道真正的條件後驗概率 η(x)=P(Y=1∣X=x);假陽性成本為 cFP>0,假陰性成本為 cFN>0,正確決策成本為零。給定特徵 x,兩個行動的條件期望成本分別是:
- 預測陽性:(1−η(x))cFP;
- 預測陰性:η(x)cFN。
預測陽性不比陰性差,恰好等價於
(1−η)cFP≤ηcFN⟺cFP≤η(cFP+cFN)⟺η(x)≥cFP+cFNcFP.
等號成立時兩種行動期望成本相同,均為最優;選陽性與本節的 ≥ 約定一致。兩種錯誤成本相等時,閾值為熟悉的 1/2。
推導依賴兩個強假設:成本固定且已知,分數是真正後驗概率。如果分數 s 只滿足校準條件 P(Y=1∣s)=s,所得結論較弱:以相同比例作閾值,只在只能看到 s 的規則之中最優,不一定在所有使用 x 的規則之中最優。只檢查分箱平均值的校準更弱:一個箱平均正確,箱內各個分數仍可不準確。
可靠驗證
任何利用數據作出的選擇都是擬合的一部分,包括標準化常數、缺失值填補、特徵選擇、正則化強度和閾值。合理的流程有三個階段:
- 訓練數據: 只用訓練數據擬合預處理和模型參數。
- 驗證數據: 用獨立驗證集,或在訓練數據內交叉驗證,比較模型並選擇 t。
- 測試數據: 將固定後的整個流程套用到未曾使用的獨立測試集,報告所得指標。
若反覆查看測試集來調整選擇,它便已變成驗證集;反覆調整可能引入樂觀的選擇偏差,不能再作簡單的留出測試解讀。即使測試乾淨,結果仍有局限:個案間依賴(例如同一人的重複記錄或時間自相關)會減少有效樣本量;類別數目少令召回率和精確率不確定性增大;測試盛行率和總體可能與實際部署不同;標籤亦可能有誤。這些指標本身都不足以支持因果解讀,或證明分類器對不同群體公平。
習題
快速檢查
(某子樣本有 40 個個案,全部是陰性,且全部預測陰性。計算所有有定義的指標。)
解答 · 引導解答
TP=FP=FN=0,TN=40。準確率與特異度皆為 1,FPR 為 0/40=0;召回率、精確率和 F1 都是 0/0,因此未定義。報告為 0 或 1 只是慣例,並非分類器的測量結果;沒有陽性時,子樣本完全不能提供偵測陽性的證據。
快速檢查
(設 TP=18、FP=12、FN=6、TN=164。計算所有指標,並與全部預測陰性的準確率比較。)
解答 · 引導解答
n=200、P=24、N=176,預測陽性共 18+12=30。準確率 =182/200=91/100;召回率 =18/24=3/4;特異度 =164/176=41/44;FPR =12/176=3/44;精確率 =18/30=3/5;F1=36/(36+12+6)=36/54=2/3。用調和平均數核對:
53+432⋅53⋅43=27/2018/20=32.全部預測陰性的準確率為 176/200=0.88。因此準確率只增加三個百分點,但召回率由 0 升至 3/4。
快速檢查
((a) 兩個陽性和三個陰性的分數全部為 0.5,求 AUC。(b) 陽性分數為 3,2,2,陰性分數為 2,1。求 AUC,再分別求轉換 s↦s3 和 s↦min(s,2) 後的 AUC。)
解答 · 引導解答
(a) 六個配對全部同分,故 AUC=6⋅21/6=21。唯一確定性的 ROC 點是 (0,0) 和 (1,1);分數完全沒有區分能力。
(b) 共有 3×2=6 個配對。分數 3 的陽性勝過兩個陰性,得 2 分;每個分數 2 的陽性與陰性 2 同分,勝過陰性 1,各得 1.5 分。因此 AUC=(2+1.5+1.5)/6=5/6。
s↦s3 嚴格遞增,分數變成陽性 27,8,8、陰性 8,1;各配對結果不變,AUC 仍為 5/6。s↦min(s,2) 只非遞減而非嚴格遞增,把 3 合併至 2;陽性變成 2,2,2,陰性為 2,1。每個陽性得 21+1,AUC 變為 4.5/6=3/4。合併分數產生新同分,在此例降低了 AUC。
快速檢查
(偵測器的 TPR=0.9、FPR=0.05。(a) 分別求 π=0.2 和 π=0.02 時的 PPV。(b) 若 cFP=1、cFN=9,求最優後驗閾值。(c) 模型在 π=0.2 的總體有精確後驗,某個案的 η(x)=0.25。部署時盛行率變為 π′=0.02;假設 X 為離散變量,兩個類別在 x 的條件概率均為正,且 X 的類別條件分布不變(標籤轉移),求新後驗及最優決策。對適當的類別條件密度,同樣的勝算計算在共同正支撐上幾乎處處適用。)
解答 · 引導解答
(a) 當 π=0.2,PPV=0.18/(0.18+0.04)=9/11≈0.818。當 π=0.02,PPV=0.018/(0.018+0.049)=18/67≈0.269。
(b) 閾值是 cFP/(cFP+cFN)=1/(1+9)=1/10。
(c) 根據貝葉斯(Bayes)定理,後驗勝算等於先驗勝算乘似然比 Λ(x)=p(x∣Y=1)/p(x∣Y=0)。原總體的後驗勝算為 0.25/0.75=1/3,先驗勝算為 0.2/0.8=1/4,因此 Λ(x)=4/3。標籤轉移下似然比不變,而新先驗勝算為 0.02/0.98=1/49,故新後驗勝算為
34⋅491=1474.新後驗概率是 η′(x)=4/(147+4)=4/151≈0.0265。由於 4/151<1/10,最優行動是預測陰性;原總體中則因 0.25≥0.1 而會標記。結論完全依賴標籤轉移、後驗精確及成本正確這些假設。