密度曲线为何需要两种误差分析
核估计划出一条平滑的曲线,但曲线本身不能告诉我们换一批样本后它会改变多少。即使观察数量趋向无限,固定带宽下估计量收敛的也是密度的平滑版本,未必是密度本身。因此要分开考虑估计量围绕其期望的抽样误差,以及期望与目标密度之间的平滑偏差。
本节在预先指定的有限个位置给出有限样本结论。箱形核使估计量成为窗口内的计数除以窗口长度,计算和假设都容易检查。这个置信带较保守,并不自动涵盖连续区间上的每一点;若平滑程度的界是从同一批数据随意定出的,也不能直接套用结论。
定义与假设
定义 18.1.1
(箱形核估计与平滑程度)
令 是独立同分布的实随机变量,密度为 。固定 ,定义
假设已知 ,使所有实数 满足 。使用全局条件是为了方便;证明只需要各个所用窗口上的条件。令 为正整数。观察数据之前固定位置 、带宽 ,并取 。
密度在零测集上修改不影响分布;Lipschitz 假设选定了连续代表,本节的 指这个代表。观察值数字可以相同,但随机抽样必须独立。如果密度已知有有界支撑,检查全局条件时应在支撑外延伸为零;支撑边界处的跳跃会违反此条件。
概念视角分析
把估计看成经验分布函数的差商
设 为经验分布函数, 为真实分布函数。则 ,,因为 。估计是 的对称差商,而偏差 衡量 的这个差商与其导数相差多远。
定理 18.1.2
(有限网格上的同时置信带)
设
以至少 的概率,以下全部 个不等式同时成立:
因此 是这个有限位置与带宽网格上的同时置信带。概率针对随机样本;真密度和指定网格均固定。
证明
(将随机误差与确定性偏差分开)
对固定的 ,每一项 都落在 ,而各项独立。Hoeffding 不等式给出
取 ,右侧至多为 。对所有固定组合使用联合界,任一抽样界失败的概率至多为 ;这不需要也没有声称不同估计量互相独立。
对偏差,在窗口内平均 Lipschitz 不等式:
再以三角不等式合并两项。由于密度非负,把下端截到零不会失去覆盖。
证明透视
概率陈述保护了什么
随机部分控制的是估计量与窗口平均的偏离,并非直接控制未平滑密度。只有真密度确实满足平滑界,偏差界才是有效的确定性结论。有限联合界保障有限列表,不能自动保障不可数多个位置。
偏差、方差与带宽选择
定理 18.1.3
(精确方差与逐点均方误差界)
固定 ,记 。则
在上述 Lipschitz 条件下,,故均方误差至多为
证明
(二项计数与均方误差分解)
设 。各指示量是成功概率为 的独立伯努利(Bernoulli)变量,所以 服从二项分布,方差为 。因 ,它的方差为 ,均值为 。把 写成 再平方:交叉项的期望为 ,所以均方误差等于偏差平方加方差。
至于上界,,而偏差界所用的平均步骤给出 ,因此 。利用 ,方差至多为 ,偏差平方至多为 。
此处有用的随机尺度约为 ,而上面的分布无关 Hoeffding 半径较保守,尺度为 。两者各自在所述结论中成立;没有尾概率论证,不能直接把方差尺度代入置信公式。
当 减小, 减小,但上面的 Hoeffding 半径增大。若 且 固定,在所有正实数 中最小化两项之和,得到
这只优化一个保守上界,并非未知实际误差。若 ,公式会除以零,必须重新讨论。事实上,全实线上的概率密度不可能处处为常数;但在所需窗口上的局部 条件仍可能有用。
可以看过样本后从预先指定的有限列表选择带宽:因为在同时事件上每个候选值都满足不等式,所选者也满足。半径中的 因子正是为了此保障。看过数据后新添的候选值不受该有限列表论证保护。另一方法是用独立先导样本选择带宽,再在新的估计样本上条件于该选择使用固定带宽结论;条件下的假设仍须成立。
计算例子
例题 18.1.4
(由计数得到不确定区间)
设 ,一个固定位置 ,一个带宽 ,,且 确实有效。若窗口内有 个观察,估计值是 。抽样半径及偏差界为
所得区间约为 。定理说的是:在假设成立时,这个程序重复抽样后至少有 95% 的机会涵盖固定真值;它不是说真值以 95% 概率落在这次已算出的特定区间。
例题 18.1.5
(跳跃处的窗口)
对 上的均匀密度及 ,零点处未反射箱形估计的期望为 ;密度内部值趋近一,因此 时半高误差不消失。把支撑外密度延伸为零会产生跳跃,违反所有有限的全局 Lipschitz 界。反射估计会改变偏差计算;未重新证明前不能把上述公式套用其上。
例题 18.1.6
(从有限带宽列表中选择,并在零处截断)
取 、、单个位置、列表 (即 、)及 。此时 ,所以 ,而 。
中间的带宽在此列表上给出最窄的有保证的带。同样的 下,所列公式的连续最小化点为 ,半宽约 ;它只是比较基准,因为该带宽不在事先声明的列表上。由于保证对三个候选值同时成立,分析者可以先看数据,再报告 。
再看一个尾部位置: 时窗口计数为 ,估计值为 。原始区间是 ,但密度非负,所以报告的带为 :下端在零处截断,上端不变。
反例模式
重复复制不会产生 n 个独立观察
令 在 上均匀,并设 。在 、 处,估计值以各 的概率为 或 ,与 无关。把同一观察复制多次不会令估计量围绕期望集中。独立同分布是假设,不是数据表的格式。
如何解读置信带
围绕 的区间只处理抽样误差。关于 的区间还需要有效的偏差界。要对整条实线作出陈述,还须控制网格点之间,而非只在网格点成立。这是不同的数学问题。
如果额外证明目标与估计量或另一插值规则的正则性,可以把有限网格上的结论延伸到区间;但箱形估计在窗口跨越观察点时会跳跃。单纯以直线连接网格端点不能证明连续区间的置信带。随机网格或由数据决定的平滑界,同样需要独立数据论证或另外的同时定理。样本小或带宽窄时,区间可能宽得没有实用性;名义覆盖率不等于有用的精度。
常见错误
(从同一批数据取得光滑度上界)
这条带要求 在看数据前已经固定。以 的最大斜率代替是不行的:箱形估计是分段常数,跳跃之间斜率为零,对真实密度的 毫无说明。任何由样本算出的上界都是随机的,且与同一批观察相依,证明中确定性的偏差步骤便不再适用。 应来自外部知识或独立样本,并明确说明这项假设。
常见错误
(在多个带宽中选择后,仍用单个带宽的半径)
若半径按 计算,却在五个候选带宽中选择,则每一对的失败概率至多为 ,对五个候选作联合界,只保证它们全部成立的概率至少为 。要保持 ,必须按真实的列表大小 使用 ,并在看数据前固定列表。
练习
快速检查
(当 、 且窗口内计数为 ,求估计值,并以未知窗口概率 表示精确方差。)
使用二项计数,保留符号 。
解答 · 答案
估计值为 。精确方差为 。用 代入 可得代入估计,并非未知方差的精确值。
快速检查
(若 、,平滑偏差的界是多少?若密度在整个窗口上是线性的,是否一定达到该上界?)
对对称窗口平均偏离量。
解答 · 答案
一般界为 。若整个窗口内 ,奇函数项的平均为零,所以实际偏差为零。该界控制最坏的 Lipschitz 形状,不必在每个密度上达到。
快速检查
(固定列表有 个位置和 个带宽。当 时使用哪个对数因子?可以看过数据后从列表中选带宽吗?)
联合界要计算每个位置与带宽的组合。
解答 · 答案
因子为 。可以:同时事件已涵盖十个固定位置上的全部五个候选值,因此用同一批数据选取仍保持所述覆盖概率下界;列表以外的带宽则不在此保障内。
快速检查
(固定 和有效的固定 ,给出使上述置信带半径趋零的 条件,并举例。)
分别控制两项。
解答 · 答案
和 足以使偏差界及所显示的抽样半径都趋零。例如 。这是针对保守界的充分条件;方差计算提示,更精细的论证可能容许较弱的速率条件。