為甚麼選擇模型也需要數據?
訓練過程可能產生多個預測器,例如不同正則化強度、網絡大小或訓練時間對應的模型。訓練損失有助擬合參數,卻也獎勵模型適應訓練樣本;因此,訓練損失最小不代表對新觀測的表現最好。我們可以先只用訓練數據建立候選模型,固定它們,再用獨立的驗證數據比較。
「擬合」與「選擇」雖然是不同步驟,驗證數據仍會影響最後選出的模型。從許多候選者中取最小驗證損失,因而可能過分樂觀。選擇完成後,可用沒有參與決策的獨立測試集估計這次選出模型的風險,這是以先前訓練及驗證數據為條件的評估。若要估計整個程序在不同訓練樣本上的平均風險,便須考慮重複訓練及選擇。反覆查看測試結果並據此修改程序,實際上就是把測試集也用作驗證集。
設定與選擇定理
令 包含全部訓練數據及訓練時使用的隨機性。根據 建立非空有限個可測預測器 ;訓練方法可以很複雜。在查看任何驗證觀測之前,這份名單已經固定。
定義 20.1.1
(驗證風險與留出法選擇)
令 為獨立同分佈的驗證觀測,各自服從 ,並與 獨立,其中 。對滿足 的損失,預測器 的風險與驗證風險為
留出法選擇在 中取令 最小的指標 ,遇到平手按預先固定的確定規則處理。
計算 時,候選模型固定,期望是對一筆新觀測取的。所有模型可以共用同一驗證集;不同模型的驗證損失不必彼此獨立。
定理 20.1.2
(有限候選者的留出法選擇保證)
對 ,以至少 的概率(涵蓋訓練與驗證的隨機性),有
比較對象是這份已固定候選名單中真正最好的模型,不是所有可能的預測器。
證明
(先固定訓練,再用聯合界)
固定 後,候選名單不再隨驗證數據變動。對每個固定候選者,驗證損失是落在 的獨立同分佈隨機變量。Hoeffding 不等式給出
對 個候選者使用聯合界,毋須假設不同模型的損失獨立。取 ,便以至少 的條件概率同時控制所有誤差。在此事件上,令 為名單中真實風險最小的指標,由選擇規則得
對 的每個取值,條件保證相同;再對 取平均便得到整體概率。由於損失位於 ,若右邊大於一,界仍然正確,卻沒有提供有用的精度。
證明透視
獨立性與固定名單在哪裏起作用
驗證樣本與 獨立只在開頭用了一次:它保證固定 後,驗證觀測仍是來自 的獨立同分佈樣本,所以每個固定候選者的驗證風險是 個獨立有界項的平均。訓練過程只在這裏出現,這就是候選模型可以用任意複雜方法訓練的原因。
關鍵一步是在知道 之前,把全部 個偏差放在同一事件上控制。選中的指標依賴驗證數據,所以不能直接對 用 Hoeffding 不等式;但在一致事件上,不論選中哪一個,每個候選者都在 之內。聯合界只在對數內付出因子 ,亦毋須候選者之間獨立。之後由三個環節收口:選中候選者的偏差、選擇不等式、最佳候選者的偏差,因此得到 。若看過驗證損失後再擴大名單,第一步便不成立,因為固定 後候選者已不再固定。
候選名單可以依賴訓練數據,因為證明先固定了 。但若看過驗證結果後再按結果加入新模型,不能照舊只把原本的數目當作 。若事先確定更大的有限候選集合,則可用該集合的總數,即使搜尋只看了其中部分。無界的平方損失或對數損失需要額外的尾部或有界性假設;上面的 Hoeffding 證明不會自動適用。
同一條件化論證只用一個候選者,便說明最後的測試估計為何可靠。
推論 20.1.3
(未動用的測試集估計選中模型的風險)
設 為來自 的獨立同分佈測試觀測,與 及驗證樣本都獨立,並以 表示平均測試損失。對 ,以至少 的概率有
證明
(單一已固定的預測器)
固定 及驗證樣本。此時 是一個固定預測器,它的 個測試損失是 中的獨立同分佈變量,均值為 。取 的 Hoeffding 不等式給出條件界,再對所固定的變量取平均便得無條件界。若再查看測試集來改變選擇,選中的預測器在這些條件下就不再固定,這個論證也不再適用。
計算例子
例題 20.1.4
(數值保證)
設 、、。因為 ,所以 ,以至少 的概率,選中模型相對十個候選者中最佳者的超額風險不超過 。若其中兩個模型的驗證損失分別為 和 ,只有當其餘模型沒有更小損失時才有可能選前者。定理沒有說前者真實風險等於 。
例題 20.1.5
(比較閾值)
訓練集產生固定的閾值分類器 和 。驗證輸入為 ,標籤為 。兩個模型分別預測 和 ,零一驗證損失分別為 和 ,因此選 。這只展示計算,不能證明它的總體錯誤率為零。
例題 20.1.6
(界失去作用時,以及無需選擇時)
在閾值例子中,、。取 ,,所以界為 。零一超額風險不會超過一,因此這個保證正確卻沒有內容。要求 得 ,所以 個驗證觀測足以保證超額 。
另一極端是 ,此時左邊為零:只有一個候選者,就沒有選擇需要付出代價。驗證集這時起測試集的作用,取 的推論給出其估計的精度。
數據洩漏的反例
反例模式
由驗證標籤建立的候選者
聲稱:選擇界對任何有限名單都成立,不論名單如何產生。設輸入是互異的連續識別碼,與標籤獨立,每個標籤獨立地以概率 為 。取 :常數預測器 ,風險為 ;以及讀過驗證標籤後建立的查表模型 ,它對驗證識別碼回傳記住的標籤,對其他識別碼回傳 。新識別碼以概率一未曾出現,所以 。
在驗證集上 的損失為 ,而 的損失等於正標籤的比例;除非 個標籤全為 (概率 ),它都是正數。因此會選中 ,超額風險為 。取 、,界為 ,它至少以概率 失效。被違反的假設是:名單在固定 後已固定,並與驗證樣本獨立;單把同一批記錄稱作留出集不能挽救推論。
此外,測試數據也要符合預期使用情境:即使獨立,測試分佈與未來用戶分佈不同仍可能產生偏差。同一人的多筆記錄或時間序列,隨機逐行切分可能不符合真實預測任務,應尊重依賴關係及預測時可取得資訊的時間。
常見錯誤
(分割前用全部記錄擬合預處理)
在分割數據之前用全部記錄擬合標準化器、填補缺失值的規則、特徵選擇器或詞彙表,會讓驗證資訊進入每個候選模型,候選者便不再與驗證樣本獨立。應只在訓練部分擬合這些轉換,再把已擬合的轉換應用到驗證和測試記錄。
常見錯誤
(把最小驗證損失當作風險)
最小驗證損失有向下偏差。設標籤是與輸入獨立的公平硬幣,比較分類器 與其補 ;兩者的風險都是 。在單一驗證點上恰好有一個正確,所以較小的驗證損失永遠是 。定理控制的是選中模型相對最佳候選者的風險;要估計選中模型本身的風險,需要新數據,正如推論所示。
練習與解答
快速檢查
(若 且 ,選擇界如何改變?)
解答 · 答案
對取值於 、最小點不變的 使用定理,再乘回 ,得到 。
快速檢查
(當 時,要以 的信心水平保證超額風險至多 ,多少 足夠?)
解答 · 答案
要求 ,即 ;取 足夠。這是充分值,不必是必要的最小值。
快速檢查
(固定 ,把 加倍,界如何變化?)
解答 · 答案
根號內的 增加 ,等價地,界的平方增加 ,所以界變大。實際風險不一定變大,因為較大的名單也可能包含更好的模型。
快速檢查
(團隊用測試集選兩個模型中較好者,再把較小測試誤差當作所選模型風險的無偏估計,是否合理?)
解答 · 答案
不合理。選擇依賴所報告的測試誤差;即使每個固定模型的測試誤差無偏,兩個估計值的最小值相對於兩個真實風險的最小值一般有向下偏差。應用驗證數據固定選擇,再用獨立測試集評估一次。