動機
數據表是有限的數學對象;要談下一次觀測,還需要把已觀測數據與未觀測總體連起來的模型。因此,最小二乘的精確計算可以與預測的不確定性同時存在。解出正規方程只消除了求解上的困難,沒有消除只觀察一個樣本所造成的不確定性。
假設感測器記錄量度是否超過門檻。已記錄數據中的超標比例可以直接算出,下一次超標的概率卻是某個分布的參數,並非表中的另一格數字。分析必須交代哪些量是隨機的、是否服從同一分布,以及排除了哪些相依關係。否則,即使套用熟悉的標準誤公式,也可能嚴重高估精確度。
本節以期望、方差、獨立性、條件均值和基本不等式建立基礎,支援蒙地卡羅(Monte Carlo)積分及留出測試。這些是帶有假設的數學結果,並不表示每個真實數據集都符合假設。讀者需要有限求和、積分和內積。條件期望採用幾乎處處的意義;概率為零的輸入位置如何取值,不影響以下結論。
定義
概率空間由結果、可測事件及概率測度 組成。實隨機變量 是結果的可測函數;期望是對 的積分(在可積時)。若 ,則均值 及方差 都有限。展開平方並用線性性得到 。方差的有限性是關於分布的假設,不能由「電腦算得到一個數」推出。
定義 7.1.1
(獨立同分布的觀測)
若分別涉及不同座標的事件,其交集概率可以分解為概率的乘積,則隨機變量 獨立。若各座標有相同的概率律,則它們同分布。兩者兼備時稱為獨立同分布,簡寫 i.i.d.。
兩個條件互不包含:獨立量度可以有遞增的方差而不同分布,把同一隨機量抄寫很多次則會同分布但不獨立。
定義 7.1.2
(樣本均值與樣本方差)
對觀測 ,樣本均值及在 時的樣本方差定義為
在抽樣前,樣本均值是隨機變量;抽樣後則是一個已知數值。模型中的目標均值 是固定參數。個別觀測的方差 描述單次結果的變動, 的方差描述重複抽樣時估計量的變動。把兩者混淆,便看不見平均化的作用。
定義 7.1.3
(預測風險、經驗風險與條件均值)
設 滿足 。確定的可測預測函數 的平方預測風險是 ,使用時假設其有限。它在 個觀測上的經驗風險是同一損失在這些觀測上的平均。條件均值 是給定 的資訊後對 取平均所刻畫的平方可積函數;它只在輸入概率為零的集合以外確定。
訓練所得的函數本身可以隨訓練數據而變。測試分析中把它視為「固定」,意思是先條件於整個訓練程序,包括模型選擇及預處理,再使用與該程序獨立的測試觀測。如果曾用測試標籤挑選模型,這個條件獨立的論證便不能直接使用。
定理 / 命題
定理 7.1.4
(獨立樣本平均的均方誤差)
設 獨立同分布,均值為 ,有限方差為 。則
當 時,。若概率上界大於一,改用一會較強。此定理不要求正態分布。
第二個結果關乎單一新觀測,而非平均值。
定理 7.1.5
(條件均值與不可消除的平方誤差)
設 且 平方可積。令 ,則
所以條件均值使總體平方風險最小。其他預測函數與它有相同風險,當且僅當 幾乎處處成立。這是總體分布的性質,不是從有限樣本找出 的算法。
概念視角幾何
風險恆等式是隨機變量空間中的畢氏定理
平方可積的隨機變量在內積 下構成內積空間,而 。 的平方可積函數構成閉子空間, 正是 在其上的正交投影:殘差 對每個平方可積的 都滿足 。由於 屬於該子空間,風險恆等式就是畢氏(Pythagoras)定理。因此,在 的函數中最小化風險是一個最佳逼近問題,與有限維列空間中的最小二乘完全相同。
若固定預測函數的損失 有有限方差 ,把第一個定理用於獨立測試損失,便得到無偏的經驗風險,其方差為 。不過, 不保證 ;後者涉及平方損失的二階矩,可能需要四階矩的控制。
證明思路
證明
(均值、方差、Chebyshev 界與無偏樣本方差)
期望的線性性已足以證明均值無偏,不需要獨立性。計算均值方差時,把中心化總和的平方展開成對角項與交叉項。當 時,獨立性給出 ,於是剩下 。
對非負隨機變量 ,逐點不等式 推出:當 時 。取 及 即可。
以下代數恆等式對每個結果都成立:
右邊期望為 ,除以 便證明無偏。
證明透視
每個假設在平均化證明中的作用
的無偏性只用線性性,所以任何相依結構下都成立。獨立性只用一次,用來消去方差中的交叉項;就這條恆等式而言,兩兩協方差為零已經足夠,完全獨立只是方便的較強假設。同分布使所有對角項都等於 ,總和為 。
概率界來自把 Markov 一步用於平方誤差,這是方差必須有限的原因。它描述估計量在重複抽樣下的分布,並非對手上這一個樣本的誤差保證。
在樣本方差恆等式中,被減去的 由方差計算得期望 。這就是以 而非 中心化所損失的一份方差,也解釋了分母 。若除以 ,平均而言會低估方差。 無偏不代表 無偏,因為非線性運算一般不能與期望交換。
風險恆等式用的是另一個要素,即條件均值的定義性質。
證明
(圍繞條件均值展開風險)
把 寫成 並展開。交叉項為零,因為 ,而 只是 的函數。平方可積配合 Cauchy–Schwarz 保證乘積可積。餘下的風險差是非負平方的期望;它為零恰好表示該平方幾乎處處為零。這正是概率空間中的正交投影論證。
例題詳解
例題 7.1.6
(超標次數與保守樣本數)
設 為超標指示量,各次試驗獨立,超標概率同為 。由 得方差 。要對所有 都保證 ,定理容許 。這是保守的充分條件,並不是說 1999 次觀測必定失敗。若 且 ,比例估計的方差為 ,標準差為 ;兩者都不是單次指示量的方差 。
例題 7.1.7
(均勻抽樣積分與控制變量)
取在 上均勻分布的獨立 。則 、,所以平均 估計 的積分,方差為 ,均方根誤差為 。樣本數乘四才會令此誤差減半,乘二則不會。對方差受控的被積函數,這個速率與名義維數無關,但方差本身可以隨維數及抽樣分布大幅改變。
由於 ,另一個無偏估計量是 。展開四次多項式並逐項積分,其方差為 ;標準差比 小四倍。
這個係數並非碰巧。減去 對每個實數 都不改變期望,而方差是 的二次函數,最小值在 ,因為 。若係數也從同一有限樣本選取,無偏性可能改變,需要另行分析。
例題 7.1.8
(預測有兩種不同的誤差來源)
設 在 上均勻分布,,獨立雜訊滿足 、。條件均值為 。預測 的風險是 ; 的風險是 。學到正確斜率可移除近似誤差 ,卻不能移除雜訊方差。如果斜率由另一訓練樣本估計,應先條件於該估計再作此計算,最後才對訓練隨機性取平均。
平均化定理假設了獨立性;相同的邊際分布不能代替它,以下的驗算說明這一點。
反例模式
同分布不等於獨立觀測
只取一個 Bernoulli 變量 ,並令每個 。每個座標都有與獨立 Bernoulli 觀測相同的均值和方差,但對每個樣本數都有 ,均值的方差仍是 。一般而言,均值相同且二階矩有限時,。一長串互相關連的記錄,所含資訊可能遠少於其行數所示。
還要區分隨機設計與固定設計。在感測器模型中,把所有量度當作獨立抽取,同時反映了所抽情境的變化與量度雜訊;實驗室也可能事先固定輸入位置,這時條件分析只對這些位置上的量度雜訊取平均。兩種模型都可以合理,但回答的是不同的重複實驗問題;一種模型的標準誤不能不加說明地移到另一種模型。
常見錯誤
常見錯誤
(把概率保證當作手上樣本的性質)
經驗平均並非按定義就等於總體目標。無偏是關於期望的陳述,不是關於每次實現的陳述。高概率保證也不證明當前樣本就在有利事件內。把概率不等式中的未知方差換成隨機的樣本方差,需要新的定理,例如在特定分布假設下的置信區間理論;上面證明的不等式並不容許這種代換。
常見錯誤
(切分記錄而非抽樣單位)
獨立性必須對準抽樣單位。同一受試者的多筆記錄可能共享隨機效應;即使程式把記錄隨機打亂再切分,訓練與測試之間仍可能相依。若目的是預測新受試者,便可能需要按受試者切分。
常見錯誤
(方差不有限或分布不對時仍作平均)
方差有限是實質假設。標準 Cauchy 隨機變量沒有可積的均值,也沒有有限方差,所以不能只因電腦算出了一個平均數就引用此定理。同樣,蒙地卡羅誤差描述在所述分布下的隨機積分誤差;模擬器若抽錯分布,所產生的偏差並不包括在內。
總結
平均值只有在概率模型指定目標期望後才是一個估計量。在獨立同分布及有限方差下,其均方誤差為 。平方預測風險分成條件雜訊與對條件均值的偏離。獨立測試觀測讓已訓練的固定規則適用平均化結果。更尖銳的集中不等式、相依抽樣及一般學習保證留待日後處理。
練習
快速檢查
(獨立量度有共同均值 及方差九。利用已證不等式,要使均值絕對誤差至少 的概率不超過 ,多少次觀測足夠?解釋「足夠」的意義。)
解答 · 答案
概率界為 。令其不超過 ,得 。在所述抽樣模型下,每個這樣的樣本數都符合所需概率界。這是由可能偏鬆的不等式得出的充分條件,不是必要樣本數,也不是確定的誤差保證。
快速檢查
(設 在 上均勻分布。求 的期望及方差,以及 個獨立副本平均的均方根誤差。樣本數乘以多少才使此誤差除以三?)
解答 · 答案
逐項積分得 、,故 。平均估計無偏,均方根誤差為 。樣本數乘九,誤差才除以三。單憑均方根計算,不能推出關於某一次實現的結論。
快速檢查
(設 以相等概率取負一及正一,,其中 獨立、均值為零、方差為二。求每個仿射預測 的風險,並找出所有最小化參數。)
解答 · 答案
條件均值是 。展開它與 之差的平方,並用 、,得 。唯一最小化參數是 、,風險為二。這裏的唯一性針對仿射參數;一般的總體預測函數只在 的支撐上確定。
快速檢查
(設 個隨機變量有共同正方差 ,每對不同變量的協方差均為 。推導其平均值的方差,並解釋當固定正的 隨 增大而持續存在時,方差為何不能再降低。)
解答 · 答案
協方差總和有 個對角項及 個非對角項,因此方差為 。固定正的 使其趨於 ,收集更多相關副本無法消除共同隨機性。此外,協方差結構必須半正定;對固定的 及 ,等相關參數必須介乎 與一之間。