分類器不能自行回答的問題
分類器可以完全配合訓練個案,卻在新個案上失敗。要評估學習方法,必須交代個案如何產生、每個決定可使用甚麼資訊,以及哪些個案留作評估。如果缺少這套程序,分數可能衡量的只是對答案的記憶,而不是預測能力。
本節構造極小的合成二元分類問題,公開全部數據和程式,讓每個結果都可以重算。這只是示範程序;八個測試個案不足以證明真實母體的表現。這裏的切分是一個固定示例序列的分割。只有討論後面的概率定理時,我們才另外假設所有位置上的觀測是來自同一分布的獨立抽樣;一張已觀測的表本身不能驗證這個假設。
數據、變換與候選規則
每個個案有特徵 和二元標籤 。訓練集各有兩份 、、、,最後一項為標籤。每個特徵的訓練均值都是 ,使用分母八計算的母體標準差也是 。我們只用訓練特徵擬合變換:
然後不改變這個映射,將它用於驗證和測試特徵;不可用它們重新計算均值。即使變換沒有使用標籤,也可能把評估集資訊傳入擬合後的流程。若某特徵在訓練集中為常數,實際實作須明確訂定零尺度的處理方法;這裏兩個特徵均非恆定。
我們只以訓練數據構造兩個候選。閾值規則為 。小型決策樹先在 分支,再在 分支;四個葉節點分別採用訓練個案的多數標籤。每個葉恰有兩個相同標籤,無須平票規則。因此所得函數為 。切分位置及候選家族在查看驗證集之前固定。這些訓練方法刻意簡單;我們不聲稱一般決策樹算法必然作出這些切分。
驗證個案是 、、、。選取驗證錯誤較少的候選;若平票則選閾值規則。選定後,在查看測試標籤之前凍結整個流程。八個測試個案依次為 、、、、、、、。後四個之中有兩個標籤不符合 XOR。相同特徵向量可以有不同標籤:有雜訊的聯合分布容許此情況,因此只依靠特徵的確定性分類器不能在所有列出的個案均正確。
概念視角結構
切分反映資訊流向
訓練集用來擬合變換和樹的葉節點;驗證集在兩條已擬合流程之間選擇;測試集描述已凍結的選定流程。如果看完測試結果後再改模型,該測試集便已參與模型選擇;要對修改後的方法作無偏的最終評估,便需要新的獨立測試集。
讀懂混淆矩陣
定義 29.1.1
(混淆矩陣與評分)
以標籤 1 為正類。真正例 TP 是實際為 1 且預測為 1;假正例 FP 是實際為 0 卻預測為 1;假負例 FN 是實際為 1 卻預測為 0;真負例 TN 是實際及預測均為 0。以下矩陣的行依次為實際 0、1,列依次為預測 0、1,即 。
只要至少有一個個案,準確率就有定義。精確率、召回率及假正例率(FPR)的分母分別是預測正例、實際正例及實際負例;分母為零時,除非另訂慣例,否則無定義。
驗證錯誤率分別是 和 ,故選決策樹。其測試準確率為 ,正類精確率為 ,召回率為 。這裏分母碰巧相同,一般未必如此。若沒有預測正例,精確率須明確指定慣例,否則無定義。列出閾值規則的測試矩陣,只是為了使整個教學計算可檢查,並不准許再次根據測試集選擇。實際工作中通常應待選擇程序凍結才查看測試分數;這裏為完整說明固定例子而同時展示兩者。
例題 29.1.2
(一個假負例和一個假正例)
測試個案 的決策樹預測為 0,而真實標籤為 1,故貢獻一個 FN; 的預測為 1、標籤為 0,貢獻一個 FP。它們都是針對指定標籤的真實錯誤。不能在看到預測之後,以標籤有雜訊為由刪去個案。
例題 29.1.3
(從不預測正例的分類器)
設某規則對全部十個個案都預測 ,其中兩個個案實際為 。於是 、、、。準確率是 ,召回率是 ,假正例率是 。精確率的分母 ,除非另訂慣例,否則無定義。高準確率與零假正例率掩蓋了這條規則完全找不到正例的事實。
常見錯誤
(把高準確率當作表現良好)
準確率看不出錯誤的種類。設 個個案中有 個是正例,而某規則每次都預測 。它的準確率是 ,召回率卻是 :它找不到任何重要個案。
以下標準程式庫程式重現矩陣;訓練均值、尺度、葉節點、驗證選擇及之後的測試評分都明確列出。表是預先指定的,並非虛構的模擬結果。
from math import sqrt
train = [(0,0,0), (0,1,1), (1,0,1), (1,1,0)] * 2
valid = [(0,0,0), (0,1,1), (1,0,1), (1,1,0)]
test = [(0,0,0), (0,1,1), (1,0,1), (1,1,0),
(0,0,1), (0,1,1), (1,0,0), (1,1,0)]
mean = [sum(r[j] for r in train) / len(train) for j in (0, 1)]
scale = [sqrt(sum((r[j] - mean[j])**2 for r in train) / len(train))
for j in (0, 1)]
assert all(s > 0 for s in scale)
def branch(row):
return tuple(int((row[j] - mean[j]) / scale[j] >= 0) for j in (0, 1))
leaves = {}
for a in (0, 1):
for b in (0, 1):
labels = [r[2] for r in train if branch(r) == (a, b)]
assert labels and 2 * sum(labels) != len(labels)
leaves[a, b] = int(2 * sum(labels) > len(labels))
def threshold(r): return branch(r)[0]
def tree(r): return leaves[branch(r)]
def matrix(data, rule):
m = [[0, 0], [0, 0]]
for r in data:
m[r[2]][rule(r)] += 1
return m
def errors(m): return m[0][1] + m[1][0]
models = [("threshold", threshold), ("tree", tree)]
vm = [(name, rule, matrix(valid, rule)) for name, rule in models]
chosen = min(vm, key=lambda item: errors(item[2])) # first wins ties
print("validation", [(name, m) for name, _, m in vm])
print("selected", chosen[0])
print("test", [(name, matrix(test, rule)) for name, rule in models])
為甚麼驗證集可以指導選擇
定義 29.1.4
(風險與驗證誤差)
在以下論證中先固定訓練數據。假設驗證個案 ,,獨立同分布於 P,並與訓練數據獨立。給定訓練數據後,設 是有限且非空的一組已擬合分類器;其整個擬合及特徵變換在查看驗證集前已固定,並獨立於驗證集。定義
R 中的新個案服從 P,且獨立於產生 h 的數據;若 h 由驗證集選出,這些數據也包括驗證集。以下對數均以自然常數為底。以下概率均以訓練數據為條件;若條件假設對幾乎每個訓練集成立,對訓練集取平均後,同一界亦無條件成立。
定理 29.1.5
(有限候選家族的驗證誤差界)
對 ,以至少 的驗證樣本概率,K 個候選同時滿足
因此,以任何依賴驗證集的規則選出的候選也滿足此不等式。這是對抽樣程序的概率保證,並非保證觀測到的驗證錯誤率等於真實風險。
證明
(對每個候選用 Hoeffding,再用聯集界)
給定訓練集後,每個候選固定,其驗證錯誤指示變量為獨立同分布的伯努利(Bernoulli)變量,均值為 。由 Hoeffding 不等式,。由聯集界,至少一個候選違反界限的概率至多為 。令此值等於 ,便得所示半徑。在其補事件上,所有候選同時滿足界限,故驗證集選出的任何候選也滿足。不同候選的錯誤之間不必獨立;需要的是固定候選與獨立同分布驗證樣本之間的獨立性。
證明透視
聯集界的作用及限制
這個事件涵蓋訓練後、驗證前已固定的整個候選家族,因此容許在其中選擇。但它不自動涵蓋查看驗證標籤後才發明的候選、未計入數量的反覆搜尋、非獨立同分布抽樣,或在驗證集上擬合的數據依賴預處理。
本例 、、,半徑為 。選中的樹驗證錯誤率為零,因此在上述高概率事件上真實錯誤率至多約 。界限很鬆:四個個案沒有觀測到錯誤,不能證明母體錯誤率為零。固定樣本本身不能證實獨立同分布;這個數值結論只在所列分布假設下適用。
例題 29.1.6
(要多少個驗證個案才使半徑為 0.05?)
保持 、,要求半徑至多為 。條件 等價於 ,所以最小的整數是 : 時半徑約為 , 時約為 。半徑減半需要四倍個案,因為 以 的形式出現。把候選數由 加倍至 ,只是把 換成 ,代價遠小於把 加倍。
數據洩漏破壞實驗
定義 29.1.7
(評估洩漏)
洩漏是指某個數據集影響了本應由它來評估的流程。訓練數據可以影響擬合;驗證數據只可影響在預先固定的候選家族內作選擇;測試數據不可影響已凍結流程的任何部分。洩漏之後算出的分數,不再估計該流程對未見個案的表現。
反例模式
記住評估答案
假設每個評估個案有永不重複的唯一識別碼,開發者先讀取標籤,再編寫查表規則,對每個識別碼回傳儲存的標籤。同一批個案的測量錯誤率依構造為零:例如把八個測試標籤 按識別碼 儲存,錯誤率便是 。面對新識別碼 時,表中卻沒有答案,後備規則可能很差。此時候選依賴評估標籤,所以不能對這個家族套用固定候選的證明。完美分數衡量的是取得答案,而非已證明的泛化能力。
洩漏也可能較隱蔽:用全部標籤選特徵、用保留個案擬合標準化器、預測新病人時把同一病人的記錄分到不同集合,或看測試結果後反覆改模型。應按實際部署時的新單位切分,例如病人或未來時間段。分組和時間切分可能有必要,但需另行分析;它們不會自動滿足獨立同分布定理。交叉驗證時,每個需要學習的預處理步驟都要在各訓練折內擬合。驗證集用於選擇,在上述固定家族及獨立同分布假設下,勝出的錯誤率對所選模型風險在期望上有向下偏差,但並非每次抽樣都低估風險;獨立未動用的測試集估計的是凍結模型在測試抽樣母體的表現,不一定代表分布改變後的部署母體。
常見錯誤
(用測試分數選擇模型)
若用測試集在候選之間作選擇,它就成了模型選擇的一部分。設有 條規則,每條都以獨立的公平擲幣方式猜 個測試標籤,因此每條的真實錯誤率都是 。一條規則猜對至少 個的概率是 ,所以 條之中至少有一條做到的概率是 。最佳的測試分數會顯示出並不存在的能力。
習題
練習 29.1.8
(另一測試集上,選定規則得到 、、、。計算準確率、精確率、召回率及假正例率,並解釋分母。)
基礎
解答(3)
- 1
數出個案數與準確率
關鍵一步
個案共有 個,所以準確率是 。
- 2
除以正確的組別
精確率是 ,分母為預測正例;召回率是 ,分母為實際正例。
- 3
負例之中的錯誤率
假正例率是 ,分母為實際負例。單看準確率看不出錯誤的種類。
快速檢查
(第三個候選的驗證錯誤率為 。若它在查看驗證標籤後才加入,定理是否仍可用 ?若三個候選及只用訓練集的擬合方法均在驗證前固定,又如何?)
解答 · 答案
一般不能。第三候選可能編碼驗證答案,只把它算作三者之一不能恢復獨立性。若三個已擬合候選都獨立於獨立同分布的驗證集,則定理以 適用,包括驗證集選出的候選。事先固定的有限家族必須包括所有實際考慮的候選,而不只是最終報告的候選。
快速檢查
(假設閾值規則的驗證錯誤率為 ,決策樹的驗證錯誤率為 。使用 ,給出所選規則的風險上界,並解釋為何未必有用。)
解答 · 答案
選中閾值規則,驗證錯誤率為 。半徑仍約為 ,故在 的事件上有 。風險本來最多為一,這個上界幾乎不能提供有用保證。這是對重複獨立同分布驗證樣本下程序的敘述,不是在觀測樣本後賦予固定未知風險 的概率。
快速檢查
(醫院有 100 名病人,每人五張影像。隨機按影像切分,可能令同一病人的影像同時出現在訓練和測試集。解釋評估偏樂觀的一個機制,並提出切分方法。你的建議本身能否保證病人獨立同分布?)
解答 · 答案
同一病人的紋理或採集特徵可能同時出現在兩集合中,模型因此認出病人,而非泛化至新病人。應把每名病人的所有影像分配至同一集合,並保留未動用的測試病人;這更直接測試在抽樣環境中預測新病人。然而病人之間可能相關,亦可能存在選樣偏差或時間漂移;分組切分本身不能證明獨立同分布或外部有效性。