動機
後驗概率描述的是標籤的不確定性,卻不會決定哪一種錯誤最要緊。在三類問題中,選擇最可能的類別,可能令我們承擔一種高代價的錯誤,而一個可能性較低的行動反而可以避開它。如果每個分類行動的條件損失都相當大,設立拒絕選項亦可能合理。這些決定應該依據明確的損失矩陣,而不是非正式的信心門檻。
後驗概率本身通常也要估計。參數模型透過一個有限的密度族分享資訊;核密度估計則平均鄰近的觀測,不把密度形狀限制在固定的有限維族之內。彈性是有代價的:窄鄰域減少平滑偏差,卻只用到較少有效觀測。密度積分為一只是第一項要求;滿足它的估計仍可能很差。
本節把這兩層問題連接起來。我們先證明一般的 Bayes 決策規則,以及估計後驗的穩定性界;再量化實線上核估計量的偏差、方差與均方積分誤差。所有抽樣及平滑假設都明確寫出,所以常見的帶寬冪次是計算得出的結論,而不是普遍適用的處方。
定義
定義 20.1.1
(行動、標籤與條件風險)
設標籤 ,行動屬於有限集合 ,其中亦可包含拒絕。設 ,並設 為固定損失。條件風險與總風險為
Bayes 行動使這個條件風險最小,並採用固定的可測並列慣例。在零一損失下,它就是使後驗最大的行動。若類別先驗為 、類別密度為 ,則在分母為正之處 。
行動與標籤不必是同一個集合。拒絕可以對每個真類別都有常數損失 ;此時它的條件風險恰為 。後驗分母對各個普通行動都相同,但成本仍須對所有真標籤求和。只為每個行動比較一個加權密度,只適用於某些特定損失,包括零一損失。
概念視角幾何
把決策區域看作概率單純形的胞腔
固定 ,記 。條件風險是概率向量單純形上的線性函數 。行動 恰好在凸多面體胞腔 上是 Bayes 行動,而最小風險就是這些函數的下包絡。固定代價為 的拒絕行動佔有 ,它同樣是凸的。在零一損失下,這個區域就是每個 的區域。
定義 20.1.2
(參數代入與核密度代入)
參數代入規則在指定族 中估計參數,再把相應密度及估計先驗代入 Bayes 公式。若 是來自實線上密度 的獨立觀測,核估計量為
這裏 非負、為偶函數、支撐在固定的有界區間內、積分為一,並滿足 。記 及 。均方積分誤差為 。
分類時,每個類別使用自己的樣本數,不能不加區別地用觀測總數。在需要作決策的位置,估計先驗與密度估計必須組成非負後驗,而且分母為正。局部數據稀疏時,緊支撐核可能令所有估計密度都為零;必須說明這類觀測如何處理,而不是除以零。下面的定理只分析一個密度,所以它本身並不證明多個估計密度之比的分類收斂率。
正確參數假設的益處,不需要漸近定理也能看到。對方差已知的獨立正態觀測,樣本均值的均方誤差等於該方差除以樣本數。因此估計未知中心有精確的樣本數倒數準確度。密度族已把問題限制為一個參數;它並不嘗試學習每一種平滑形狀。限制可信時,這是有用的資訊,而不是一概排斥參數方法的理由。
同一個限制在模型設定錯誤時,可能變成持續的誤差。假設真分佈是兩個單位方差正態分佈的等權混合,中心位於相反的非零位置,但工作族只容許一個均值未知的單位方差正態分佈。擬合的均值仍是樣本均值。它的期望為零、方差趨於零,所以由切比雪夫(Chebyshev)不等式,它依概率收斂到零。所得的工作密度趨向以零為中心的單位方差正態密度,而真混合的方差卻較大。增加觀測可以消除擬合中心的抽樣波動,卻不能補上缺失的形狀參數。因此,即使參數估計已經穩定,基於這個族的代入決策仍可能一直出錯。
核估計以隨帶寬改變的平均鄰域,取代這種固定形狀限制。方差計算將顯示,相關的有效樣本數為何與觀測數乘以帶寬成正比。較大的樣本既容許更窄的平滑,也令每個收縮中的鄰域內有更多觀測;若帶寬太快趨於零,就會失去這個好處。
定理/命題
定理 20.1.3
(Bayes 最優與代入風險界)
條件最小化規則 在所有可測規則中使總風險最小。若 是概率向量,而 使其估計條件風險最小,則在每一點都有
對一個獨立的評估觀測及任何訓練隨機性取期望後,這個界仍然成立。它是一個充分的連續性界,不是對每個分類問題的精確刻畫。
定理 20.1.4
(核估計的逐點偏差及方差)
設 是有界且二次連續可微的密度。當 時,對每個固定的 ,
而對獨立觀測,
因此帶寬減小時,方差等於 。當 且 ,逐點偏差與方差都趨於零。
定理 20.1.5
(積分誤差與一維帶寬率)
再假設 且 。當 且 ,
主項表達式在 處最小,主誤差的階為 。由於粗糙度 未知,這條公式並不是可以只靠數據直接使用的帶寬規則。
證明思路或證明
證明
(先條件化,再比較估計行動)
對每個 ,由定義得 。積分即證明最優性。在行動之間隨機選擇,只會得到它們條件風險的凸組合,不能低於最小值。對代入規則,在 與 處加減估計風險。估計風險之差非正。其餘每個誤差的絕對值至多為 ,於是得到所述的界。先條件於一個訓練集,再對它取期望,就得到隨機估計量的版本。
證明透視
加減估計風險
真正的想法是透過估計風險 來比較 和 :因為 使 最小,所以 。把 寫成三個差,就剩下這個非正的中間項和兩個外側項,因為損失以 為界,每個外側項都滿足 。有界性只在這裏用到。係數 來自兩個外側項。證明不假設 準確,界只是隨它的誤差而變差。
證明
(逐點展開與獨立性)
換元得 。在有界的核支撐上作 Taylor 展開,得 ,且對 一致成立。偶對稱性令一次項消去。單個求和項(連同其 因子)的二階矩為 。獨立性令其方差除以 ,證明精確表達式。連續性及有界支撐給出方差展開。若平均的是相依觀測,就需要協方差項,這個證明也會改變。
證明
(為何逐點餘項也能控制積分誤差)
單靠逐點 Taylor 展開,不足以把誤差在整條實線上積分。改用精確的積分餘項:
平移在 中是連續的:先以連續緊支撐函數近似一個 函數,對該近似使用一致連續性,再以未改變的 範數界住兩個平移後的近似誤差。Minkowski 積分不等式把上式與 的 距離,界於 的雙重積分。被積函數趨於零,並以 為界,而後者在核支撐及 上可積。因此控制收斂定理證明 收斂。把範數平方,就得到積分平方偏差的展開。
把精確方差積分,並利用非負性交換積分次序,得
在概率權重 下使用 Jensen 不等式,得 ,所以最後一項為 ,相對於 可以忽略。偏差–方差分解於是證明 MISE 的展開。對兩個主項微分,得 。這證明的是所述平滑一維設定下的收斂率,不是普遍的下界,也不是多維公式。
證明透視
局部 Taylor 定理還不是積分定理
逐點偏差用到的是某個固定位置附近的連續性。MISE 需要控制整條實線,這由平方可積的曲率及平移的連續性提供。抽樣方差另外用到獨立性。去掉其中任何一項,都需要替代論證;帶寬指數不能單憑估計量的正規化來證成。
例題詳解
例題 20.1.6
(三個類別與一個較便宜的非最大後驗行動)
設後驗概率為 ,行動一、二、三的損失行分別為 、 及 。條件風險分別為二、 及 。雖然類別一最可能,行動二才是最優。若拒絕行動對每個標籤的代價都是 ,它便勝過全部三個行動。採用拒絕是由成本模型推出的,而不是來自一般的後驗信心規則。
例題 20.1.7
(一個明確計算的核密度)
取 於 、其他地方為零,數據為 ,。在零處三個窗口都有貢獻,得 。在 處只有觀測零和一有貢獻,得 。在三處估計值為零。因為每個窗口貢獻質量 ,它的積分為一。這些有限樣本的階梯與密度估計量相容;它們並不令背後的真密度變得不連續。
例題 20.1.8
(均勻核下的正態密度)
對這個核, 且 。標準正態密度滿足 ,而積分 得 。因此主項最優帶寬為 。在零處,主偏差為 ,是負的:平滑降低了峰值。主方差為 。兩項貢獻都重要;只最小化方差會推向過度平滑。
常見錯誤
反例模式
支撐邊界破壞全線平滑假設
設 為 上的均勻密度,並使用均勻核。在零處且 時,,而所選的密度版本有 。更實質的是,在寬度與 成正比的邊界區間上,平滑會損失固定比例的質量,產生 階的積分平方偏差,而不是所述的 。這個密度在整條實線上並非二次連續可微。邊界修正是另一個估計量,需要各自的分析。
當 時,這種失效可以精確量化。在 上,估計量的期望為 ,所以該處的積分平方偏差為 。在 上真密度為零,平滑溢出的質量再貢獻 。右邊界貢獻相同的兩項,總積分平方偏差為 。改變密度在單一端點的值,不能消除這種遍及整段區間的效應。
常見錯誤
(密度準確度與決策準確度有不同要求)
即使參數估計穩定,設定錯誤的參數族仍可能收斂到錯誤的密度。核方法可以把平滑密度估計得很好,而很小的後驗分母卻令比值不穩定。反過來,遠離任何決策邊界的較大密度誤差,可能幾乎不改變標籤。在把估計誤差解讀為分類保證之前,應先說明目標、評估分佈及損失。
帶寬率也不表示某個有限樣本的圖形已可靠。公式含未知曲率,實際選擇還要估計它或使用驗證;罕見類別尤其不能借總樣本數假裝有很多本類觀測。若要比較兩個分類器,應在相同評估分佈下計算已指定成本,而不是只比較密度峰值高低。核估計積分為一,能保證它是密度;偏差與方差推導才回答估得多準;把密度代入決策後的損失,又是需要另查的一層。這三項檢查互相連接,卻不能用其中一項替代其餘兩項。
在同一份數據上既調整帶寬又報告最佳成本,也會帶來選擇樂觀;應把調參程序一併放入獨立評估之內。
總結
Bayes 決策使對所有標籤加權的後驗成本最小。代入誤差會經由條件風險傳遞,但密度估計與作出決策仍是兩項不同的工作。在明確的平滑假設下,獨立的一維核樣本給出 階的平方偏差項及 階的方差項。平衡兩者便得到所述的帶寬及誤差率,而邊界與抽樣方面的限制仍然重要。
練習
快速檢查
(對後驗 ,保留例題中的三個損失行。非負常數拒絕成本取哪些值時,拒絕是 Bayes 行動?)
要包括並列情形,並把它與唯一最優區分開來。
解答 · 答案
普通行動的最小風險為 。當 時,拒絕是 Bayes 行動; 時它唯一最佳,等號時則與行動二並列。 時,行動二較好。在所述的不對稱損失下,單憑後驗最大值 不能決定這個門檻。
快速檢查
(計算均勻核的二階矩及平方積分,並對曲率粗糙度 A 大於零的密度推導主項帶寬。)
在負一至一上積分。
解答 · 答案
及 。若 ,主誤差為 。其導數在 處為零,所以 。再微分一次,或注意導數在該處變號,便證明這是正的極小點。
快速檢查
(若 h 等於 n 的負四分之一次方,求積分平方偏差及積分方差的階。哪一項主導?並與最優指數比較。)
使用已證明的展開,而不是正規化論證。
解答 · 答案
平方偏差的階為 ,方差的階為 。方差主導;在主係數非零時,得到較慢的 階。平衡的選擇是令 與 成正比,使兩項都是 階。兩個帶寬都趨於零,有效樣本數也都發散,但這並不令它們的準確率相同。
快速檢查
(設成本以五為界,而後驗 L1 誤差處處至多為 0.01。求超額條件風險及總風險的界。這能否證明標籤總是一致?)
風險界並不是精確的決策穩定性斷言。
解答 · 答案
定理把條件超額風險界於 ,取期望後總風險也有相同的界。在條件風險接近並列之處,標籤仍可能不同,因為小的後驗擾動會改變最小化行動。要保證一致,需要一個正的風險間隙,而且它大於相應的估計誤差界,不能單靠超額風險有一個小的全域上界。