分母是哪一群人?
定義 7.1.1
(精確率、召回率與偽正率)
對二元分類器,記 分別為真正、偽負、偽正及真負數目。我們以行表示實際類別、列表示預測類別。記精確率為 、召回率為 、偽正率為 。當相關分母為正,
精確率以正預測為條件;召回率以實際正類為條件;偽正率以實際負類為條件。若沒有正預測,精確率分母為零,按以上公式沒有定義。同樣,召回率及偽正率分別要求實際正類及負類存在。報告慣例可以選擇替代值,但必須加以說明,不能把它當作上述比率。
本單元討論有標籤群體上的評估。
兩個條件比率相同的群體
例題 7.1.2
(召回率與偽正率相同、精確率卻不同)
以下為同一個固定決策規則的計數。兩列數值分別為預測正及預測負。
| 群體 | 實際類別 | 預測正 | 預測負 |
|---|---|---|---|
| A | 正 | 30 | 10 |
| A | 負 | 20 | 140 |
| B | 正 | 30 | 10 |
| B | 負 | 45 | 315 |
群體 A 有 筆觀測,正類比例為 ;群體 B 有 筆,比例為 。兩者的召回率都是 ,偽正率都是 ,但精確率不同:
即使兩個條件比率保持不變,改變實際類別的相對頻率,也會改變正預測中的組成。這是構造的計數,並非聲稱真實分類器部署到別處時一定保持相同的比率。
命題 7.1.3
(由基率得出精確率)
設 、、,且 、。則
證明
(按實際類別劃分)
按實際類別劃分,得
而實際為正且預測為正的聯合事件概率為 。由條件概率的定義,以前者除後者,即得所述公式。對固定的 與 ,代入 或 ,便得上面的兩個精確率 與 。
此公式是條件概率恆等式,因此不需要任何因果或獨立性假設。
證明透視
基率改變了甚麼、沒有改變甚麼
證明只有一個步驟:把正預測按其所屬的實際類別拆開。兩個類別都須有正概率, 與 才有定義; 則使最後的相除合理,而這個條件正是精確率定義中的分母條件。
流行率 只作為分母中各項的權重出現。召回率 與偽正率 是以實際類別為條件的,所以看不到 ;精確率以預測為條件,則按兩個類別的頻率把它們混合。公式對每個群體分別成立;它並沒有說群體改變時 與 會保持不變,那是證明沒有作出的建模斷言。
例題 7.1.4
(由流行率與比率求計數)
某群體有 筆觀測,流行率 ,某規則的 、。實際正類有 個、實際負類有 個。於是 ,,,。精確率為 。公式一致:,,故 。雖然該規則找出 的正類,偽正率只有 ,但其正預測中正確的不足三分之一,原因是實際負類遠為常見。
例題 7.1.5
(對所有人預測為正的規則)
採用群體 B,它有 個實際正類和 個實際負類,並對全部 筆觀測預測為正。於是 ,,。召回率為 ,偽正率為 ,精確率為 ,等於流行率。可見完美的召回率可以與該群體上任何召回率為 的規則所能有的最低精確率並存。相反的邊界情況是對所有人預測為負:,召回率為 ,偽正率為 ,精確率為 ,沒有定義。
閾值與常見誤解
假設固定的有標籤評估集為每筆觀測給出實數分數,當分數至少為閾值 時預測正類。提高 只會移除正預測。若集合中有實際正類, 不會增加,所以召回率不會增加;若實際負類存在,偽正率也不會增加。但精確率不一定單調:其分子和分母都會改變。
反例模式
提高閾值未必改善精確率
取四筆觀測,其分數與實際標籤依次為 。使用上述包含等號的規則,閾值 、 和 的精確率依次為 、、。提高閾值先降低精確率,然後才提高。這些計算使用固定評估集,並不建立群體層面的表現保證。
常見錯誤
(以為精確率可由召回率與偽正率得出)
群體 A 與 B 的召回率同為 、偽正率同為 ,精確率卻分別是 與 。單憑兩個條件比率不能讀出精確率,還需要流行率。
常見錯誤
(除以錯誤的總數)
在群體 A 中, 是召回率,不是精確率。精確率以正預測數作分母,即 。每次都要問清楚分母是哪一行或哪一列的總數。
習題與解答
快速檢查
(在群體 A 中,實際正類有多少比例被漏掉?)
使用實際正類那一行。
解答 · 答案
。
快速檢查
(某規則對所有人預測為負。按所示定義,它的精確率是多少?)
先計算 。
解答 · 答案
沒有定義,因為 ;須另外說明報告慣例。
快速檢查
(若 、、,精確率是多少?)
使用由基率得出精確率的公式。
解答 · 答案
。
快速檢查
(為甚麼要訂明分數等於閾值的觀測是否算作正類?)
想想平手的觀測會影響哪些混淆計數。
解答 · 答案
平手的觀測會改變混淆計數,所以不訂明該規則,評估結果便不確定。