利用已知均值的量
無偏的 Monte Carlo 估計仍可能波動很大。若每次模擬也產生一個與目標相關、期望已知的量,減去它的中心化波動,便可能在不改變目標的情況下降低方差。這是在配對重複次數相同時的數學比較;額外運算和記憶體成本須另行量度。
定義 8.1.1
(控制變量估計量)
設 有有限二階矩,未知目標為 ,已知控制變量均值為 ,且 。一對內的變量可以相依。對固定實數 定義
產生 個獨立同分佈的副本 ,其中 預先固定,並取平均 。
獨立性是指不同配對之間,而非 和 之間:方法之所以有效,正因為 與 在同一次重複中一同變動。
定理 8.1.2
(最佳固定係數)
每個固定 均滿足 。方差在以下係數達到最小:
證明
(展開方差並配方)
中心化給出 ,取平均不改變均值。展開中心化變量的平方:
配方得
它恰在 時最小。由於各次配對獨立,平均的方差為此量除以 。最小值非負,因為它本身是方差。
證明透視
無偏性與方差使用不同假設
證明作出兩個互不依賴的結論,各自建基於不同假設。無偏性只用到線性性、精確的控制均值 ,以及 是常數:若 是隨機的且與 相關, 的期望便不能拆成 。方差公式用到有限二階矩及 ,後者令關於 的二次式嚴格凸,因而有唯一最小點。重複之間的獨立性只在最後一步用來除以 ;一對內的相依性才是收益的來源,因為被減去的項是 。
最佳方差也可以不經配方直接讀出。
概念視角幾何
最佳係數是正交投影
在有限方差隨機變量組成、以 為內積的空間中, 是 的長度平方。對 求最小,就是把 投影到 生成的直線上, 是投影係數,亦即 對 作最小二乘回歸的斜率。殘差與 正交,畢氏定理(Pythagoras)給出最小值 ,其中 是 與 的相關係數。只有 重要:強負相關與強正相關同樣有用。
積分算例
例題 8.1.3
(用 估計 的均值)
令 在 上均勻,、。則 、、、,且 。所以 ,而
使用 次獨立抽樣時,調整後平均的方差是 ,普通平均則為 :方差降低十六倍,與 吻合。此比較使用相同數目的 抽樣;運行時間比較還須計算控制變量的求值及儲存成本。
例題 8.1.4
(負相關的控制變量)
保留 ,但改用 ,其均值仍為 、方差仍為 。此時 ,所以 ,而
事實上 與上例的 是同一個隨機變量。係數的符號跟隨協方差的符號;方差降低只取決於其大小。
例題 8.1.5
(係數可以偏離多遠)
在均勻例子中,配方式為 。取 ,,仍比 小十倍。取 ,:恰好等於完全不用控制變量的方差。取 ,,此時控制變量反而有害。一般而言,固定的 有幫助當且僅當它嚴格位於 與 之間;邊界值 是毫無改變的邊緣情況。
從數據選擇係數
最佳係數常依賴未知矩。一個方法是從獨立試運行估計係數 ,再產生新的獨立估計配對。對任意有限的試運行結果作條件化後,估計平均仍然無偏,因為 。對固定 定義 。若 有有限二階矩,無條件估計量無偏,其方差為 。但有噪音的試運行仍可能選出令方差比不用控制變量更大的係數,上面的 就是一例。
反例模式
重用樣本可能引入偏差
在同一均勻例子中,只取一次 ,並從同一抽樣選係數 。調整後觀察變為
其期望是 ,並非目標 。這不是說每種同樣本擬合方法都有偏,而是說係數依賴估計數據時,不能直接套用固定係數的無偏性。
若 ,所列最優公式會除以零;此時 幾乎必然成立,中心化不能降低方差。
常見錯誤
(把近似的控制均值當作已知)
若提供的控制均值是 而非真正的 ,調整後的期望變為 。在均勻例子中取 、提供的均值為 ,則無論 多大,每個平均估計的都是 。即使相關性很強,也無法修正所謂已知均值的錯誤;方差只是圍繞錯誤的值收縮。
習題
快速檢查
(在均勻例子中,驗證 並計算 。)
解答 · 答案
。由於 ,。
快速檢查
(對 次獨立均勻抽樣,寫出普通與最佳調整後的方差。)
解答 · 答案
普通平均的方差為 ,調整後平均為 。
快速檢查
(若 但 ,最佳固定係數是多少?)
解答 · 答案
。此時方差為 ,非零固定係數只會增加 項。
快速檢查
(為何從獨立試運行估計的係數能保持新估計平均的無偏性,而同樣本擬合須另行分析?)
解答 · 答案
對獨立試運行作條件化後,其有限係數相對於新配對是固定的,新中心化控制變量仍有零均值。若用同一樣本決定係數,這種條件獨立性未必成立,如反例所示。
延伸閱讀
MIT 開放式課程:模擬方法 討論控制變量和兩階段模擬。