密度曲線為何需要兩種誤差分析
核估計劃出一條平滑的曲線,但曲線本身不能告訴我們換一批樣本後它會改變多少。即使觀察數量趨向無限,固定帶寬下估計量收斂的也是密度的平滑版本,未必是密度本身。因此要分開考慮估計量圍繞其期望的抽樣誤差,以及期望與目標密度之間的平滑偏差。
本節在預先指定的有限個位置給出有限樣本結論。箱形核使估計量成為窗口內的計數除以窗口長度,計算和假設都容易檢查。這個置信帶較保守,並不自動涵蓋連續區間上的每一點;若平滑程度的界是從同一批數據隨意定出的,也不能直接套用結論。
定義與假設
定義 18.1.1
(箱形核估計與平滑程度)
令 是獨立同分佈的實隨機變量,密度為 。固定 ,定義
假設已知 ,使所有實數 滿足 。使用全域條件是為了方便;證明只需要各個所用窗口上的條件。令 為正整數。觀察數據之前固定位置 、帶寬 ,並取 。
密度在零測集上修改不影響分佈;Lipschitz 假設選定了連續代表,本節的 指這個代表。觀察值數字可以相同,但隨機抽樣必須獨立。如果密度已知有有界支撐,檢查全域條件時應在支撐外延伸為零;支撐邊界處的跳躍會違反此條件。
概念視角分析
把估計看成經驗分佈函數的差商
設 為經驗分佈函數, 為真實分佈函數。則 ,,因為 。估計是 的對稱差商,而偏差 衡量 的這個差商與其導數相差多遠。
定理 18.1.2
(有限網格上的同時置信帶)
設
以至少 的概率,以下全部 個不等式同時成立:
因此 是這個有限位置與帶寬網格上的同時置信帶。概率針對隨機樣本;真密度和指定網格均固定。
證明
(將隨機誤差與確定性偏差分開)
對固定的 ,每一項 都落在 ,而各項獨立。Hoeffding 不等式給出
取 ,右側至多為 。對所有固定組合使用聯合界,任一抽樣界失敗的概率至多為 ;這不需要也沒有聲稱不同估計量互相獨立。
對偏差,在窗口內平均 Lipschitz 不等式:
再以三角不等式合併兩項。由於密度非負,把下端截到零不會失去覆蓋。
證明透視
概率陳述保護了甚麼
隨機部分控制的是估計量與窗口平均的偏離,並非直接控制未平滑密度。只有真密度確實滿足平滑界,偏差界才是有效的確定性結論。有限聯合界保障有限列表,不能自動保障不可數多個位置。
偏差、方差與帶寬選擇
定理 18.1.3
(精確方差與逐點均方誤差界)
固定 ,記 。則
在上述 Lipschitz 條件下,,故均方誤差至多為
證明
(二項計數與均方誤差分解)
設 。各指示量是成功概率為 的獨立伯努利(Bernoulli)變量,所以 服從二項分佈,方差為 。因 ,它的方差為 ,均值為 。把 寫成 再平方:交叉項的期望為 ,所以均方誤差等於偏差平方加方差。
至於上界,,而偏差界所用的平均步驟給出 ,因此 。利用 ,方差至多為 ,偏差平方至多為 。
此處有用的隨機尺度約為 ,而上面的分佈無關 Hoeffding 半徑較保守,尺度為 。兩者各自在所述結論中成立;沒有尾概率論證,不能直接把方差尺度代入置信公式。
當 減小, 減小,但上面的 Hoeffding 半徑增大。若 且 固定,在所有正實數 中最小化兩項之和,得到
這只優化一個保守上界,並非未知實際誤差。若 ,公式會除以零,必須重新討論。事實上,全實線上的概率密度不可能處處為常數;但在所需窗口上的局部 條件仍可能有用。
可以看過樣本後從預先指定的有限列表選擇帶寬:因為在同時事件上每個候選值都滿足不等式,所選者也滿足。半徑中的 因子正是為了此保障。看過數據後新添的候選值不受該有限列表論證保護。另一方法是用獨立先導樣本選擇帶寬,再在新的估計樣本上條件於該選擇使用固定帶寬結論;條件下的假設仍須成立。
計算例子
例題 18.1.4
(由計數得到不確定區間)
設 ,一個固定位置 ,一個帶寬 ,,且 確實有效。若窗口內有 個觀察,估計值是 。抽樣半徑及偏差界為
所得區間約為 。定理說的是:在假設成立時,這個程序重複抽樣後至少有 95% 的機會涵蓋固定真值;它不是說真值以 95% 概率落在這次已算出的特定區間。
例題 18.1.5
(跳躍處的窗口)
對 上的均勻密度及 ,零點處未反射箱形估計的期望為 ;密度內部值趨近一,因此 時半高誤差不消失。把支撐外密度延伸為零會產生跳躍,違反所有有限的全域 Lipschitz 界。反射估計會改變偏差計算;未重新證明前不能把上述公式套用其上。
例題 18.1.6
(從有限帶寬列表中選擇,並在零處截斷)
取 、、單一位置、列表 (即 、)及 。此時 ,所以 ,而 。
中間的帶寬在此列表上給出最窄的有保證的帶。同樣的 下,所列公式的連續最小化點為 ,半寬約 ;它只是比較基準,因為該帶寬不在事先宣布的列表上。由於保證對三個候選值同時成立,分析者可以先看數據,再報告 。
再看一個尾部位置: 時窗口計數為 ,估計值為 。原始區間是 ,但密度非負,所以報告的帶為 :下端在零處截斷,上端不變。
反例模式
重複複製不會產生 n 個獨立觀察
令 在 上均勻,並設 。在 、 處,估計值以各 的概率為 或 ,與 無關。把同一觀察複製多次不會令估計量圍繞期望集中。獨立同分佈是假設,不是數據表的格式。
如何解讀置信帶
圍繞 的區間只處理抽樣誤差。關於 的區間還需要有效的偏差界。要對整條實線作出陳述,還須控制網格點之間,而非只在網格點成立。這是不同的數學問題。
如果額外證明目標與估計量或另一插值規則的正則性,可以把有限網格上的結論延伸到區間;但箱形估計在窗口跨越觀察點時會跳躍。單純以直線連接網格端點不能證明連續區間的置信帶。隨機網格或由數據決定的平滑界,同樣需要獨立數據論證或另外的同時定理。樣本小或帶寬窄時,區間可能闊得沒有實用性;名義覆蓋率不等於有用的精度。
常見錯誤
(從同一批數據取得光滑度上界)
這條帶要求 在看數據前已經固定。以 的最大斜率代替是不行的:箱形估計是分段常數,跳躍之間斜率為零,對真實密度的 毫無說明。任何由樣本算出的上界都是隨機的,且與同一批觀察相依,證明中確定性的偏差步驟便不再適用。 應來自外部知識或獨立樣本,並明確說明這項假設。
常見錯誤
(在多個帶寬中選擇後,仍用單一帶寬的半徑)
若半徑按 計算,卻在五個候選帶寬中選擇,則每一對的失敗概率至多為 ,對五個候選作聯合界,只保證它們全部成立的概率至少為 。要保持 ,必須按真實的列表大小 使用 ,並在看數據前固定列表。
練習
快速檢查
(當 、 且窗口內計數為 ,求估計值,並以未知窗口概率 表示精確方差。)
使用二項計數,保留符號 。
解答 · 答案
估計值為 。精確方差為 。用 代入 可得代入估計,並非未知方差的精確值。
快速檢查
(若 、,平滑偏差的界是多少?若密度在整個窗口上是線性的,是否一定達到該上界?)
對對稱窗口平均偏離量。
解答 · 答案
一般界為 。若整個窗口內 ,奇函數項的平均為零,所以實際偏差為零。該界控制最壞的 Lipschitz 形狀,不必在每個密度上達到。
快速檢查
(固定列表有 個位置和 個帶寬。當 時使用哪個對數因子?可以看過數據後從列表中選帶寬嗎?)
聯合界要計算每個位置與帶寬的組合。
解答 · 答案
因子為 。可以:同時事件已涵蓋十個固定位置上的全部五個候選值,因此用同一批數據選取仍保持所述覆蓋概率下界;列表以外的帶寬則不在此保障內。
快速檢查
(固定 和有效的固定 ,給出使上述置信帶半徑趨零的 條件,並舉例。)
分別控制兩項。
解答 · 答案
和 足以使偏差界及所顯示的抽樣半徑都趨零。例如 。這是針對保守界的充分條件;方差計算提示,更精細的論證可能容許較弱的速率條件。