动机
数据表是有限的数学对象;要谈下一次观测,还需要把已观测数据与未观测总体连起来的模型。因此,最小二乘的精确计算可以与预测的不确定性同时存在。解出正规方程只消除了求解上的困难,没有消除只观察一个样本所造成的不确定性。
假设传感器记录测量值是否超过阈值。已记录数据中的超标比例可以直接算出,下一次超标的概率却是某个分布的参数,并非表中的另一格数字。分析必须交代哪些量是随机的、是否服从同一分布,以及排除了哪些依赖关系。否则,即使套用熟悉的标准误公式,也可能严重高估精确度。
本节以期望、方差、独立性、条件均值和基本不等式建立基础,为蒙特卡洛(Monte Carlo)积分及留出测试提供依据。这些是带有假设的数学结果,并不表示每个真实数据集都符合假设。读者需要有限求和、积分和内积。条件期望采用几乎处处的意义;概率为零的输入位置如何取值,不影响以下结论。
定义
概率空间由样本点、可测事件及概率测度 组成。实随机变量 是样本点的可测函数;期望是对 的积分(在可积时)。若 ,则均值 及方差 都有限。展开平方并用线性性得到 。方差有限是关于分布的假设,不能由“计算机算出了一个数”推出。
定义 7.1.1
(独立同分布的观测)
若分别涉及不同坐标的事件,其交集的概率可以分解为概率的乘积,则随机变量 相互独立。若各坐标有相同的概率分布,则它们同分布。两者兼备时称为独立同分布,简写 i.i.d.。
两个条件互不蕴含:独立的测量可以有递增的方差而不同分布,把同一个随机量复制很多次则同分布但不独立。
定义 7.1.2
(样本均值与样本方差)
对观测 ,样本均值及在 时的样本方差定义为
在抽样前,样本均值是随机变量;抽样后则是一个已知数值。模型中的目标均值 是固定参数。单个观测的方差 描述单次结果的波动, 的方差描述重复抽样时估计量的波动。把两者混淆,就看不到平均化的作用。
定义 7.1.3
(预测风险、经验风险与条件均值)
设 满足 。确定的可测预测函数 的平方预测风险是 ,使用时假设其有限。它在 个观测上的经验风险是同一损失在这些观测上的平均。条件均值 是给定 的信息后对 取平均所刻画的平方可积函数;它只在输入概率为零的集合以外确定。
训练所得的函数本身可以随训练数据而变。测试分析中把它视为“固定”,意思是先以整个训练过程为条件,包括模型选择及预处理,再使用与该过程独立的测试观测。如果曾用测试标签挑选模型,这个条件独立的论证就不能直接使用。
定理 / 命题
定理 7.1.4
(独立样本平均的均方误差)
设 独立同分布,均值为 ,方差 有限。则
当 时,。若概率上界大于一,改用一会更强。此定理不要求正态分布。
第二个结果关乎单个新观测,而非平均值。
定理 7.1.5
(条件均值与不可消除的平方误差)
设 且 平方可积。令 ,则
所以条件均值使总体平方风险最小。其他预测函数与它风险相同,当且仅当 几乎处处成立。这是总体分布的性质,不是从有限样本求出 的算法。
概念视角几何
风险恒等式是随机变量空间中的勾股定理
平方可积的随机变量在内积 下构成内积空间,而 。 的平方可积函数构成闭子空间, 正是 在其上的正交投影:残差 对每个平方可积的 都满足 。由于 属于该子空间,风险恒等式就是勾股定理。因此,在 的函数中最小化风险是一个最佳逼近问题,与有限维列空间中的最小二乘完全相同。
若固定预测函数的损失 方差 有限,把第一个定理用于独立测试损失,就得到无偏的经验风险,其方差为 。不过, 并不保证 ;后者涉及平方损失的二阶矩,可能需要四阶矩的控制。
证明思路
证明
(均值、方差、Chebyshev 界与无偏样本方差)
期望的线性性已足以证明均值无偏,不需要独立性。计算均值的方差时,把中心化总和的平方展开成对角项与交叉项。当 时,独立性给出 ,于是剩下 。
对非负随机变量 ,逐点不等式 推出:当 时 。取 及 即可。
以下代数恒等式对每个样本点都成立:
右边的期望为 ,除以 便证明了无偏性。
证明透视
每个假设在平均化证明中的作用
的无偏性只用到线性性,所以在任何依赖结构下都成立。独立性只用一次,用来消去方差中的交叉项;就这条恒等式而言,两两协方差为零已经足够,完全独立只是方便的更强假设。同分布使所有对角项都等于 ,总和为 。
概率界来自把 Markov 一步用于平方误差,这是方差必须有限的原因。它描述估计量在重复抽样下的分布,并非对手中这一个样本的误差保证。
在样本方差恒等式中,被减去的 由方差计算知其期望为 。这正是以 而非 中心化所损失的一份方差,也解释了分母 。若除以 ,平均而言会低估方差。 无偏不代表 无偏,因为非线性运算一般不能与期望交换。
风险恒等式用的是另一个要素,即条件均值的定义性质。
证明
(围绕条件均值展开风险)
把 写成 并展开。交叉项为零,因为 ,而 只是 的函数。平方可积配合 Cauchy–Schwarz 保证乘积可积。剩下的风险差是非负平方的期望;它为零恰好表示该平方几乎处处为零。这正是概率空间中的正交投影论证。
例题详解
例题 7.1.6
(超标次数与保守样本量)
设 为超标示性变量,各次试验独立,超标概率均为 。由 得方差 。要对所有 都保证 ,定理允许取 。这是保守的充分条件,并不是说 1999 次观测必定失败。若 且 ,比例估计的方差为 ,标准差为 ;两者都不是单个示性变量的方差 。
例题 7.1.7
(均匀抽样积分与控制变量)
取在 上均匀分布的独立 。则 、,所以平均 估计 的积分,方差为 ,均方根误差为 。样本量乘四才使此误差减半,乘二则不能。对方差受控的被积函数,这个速率与名义维数无关,但方差本身可以随维数及抽样分布大幅变化。
由于 ,另一个无偏估计量是 。展开四次多项式并逐项积分,其方差为 ;标准差是 的四分之一。
这个系数并非碰巧。减去 对每个实数 都不改变期望,而方差是 的二次函数,最小值在 ,因为 。若系数也从同一有限样本选取,无偏性可能改变,需要另行分析。
例题 7.1.8
(预测有两种不同的误差来源)
设 在 上均匀分布,,独立噪声满足 、。条件均值为 。预测 的风险是 ; 的风险是 。学到正确斜率可消除近似误差 ,却不能消除噪声方差。如果斜率由另一训练样本估计,应先以该估计为条件作此计算,最后才对训练的随机性取平均。
平均化定理假设了独立性;相同的边缘分布不能代替它,下面的验算说明这一点。
反例模式
同分布不等于独立观测
只取一个 Bernoulli 变量 ,并令每个 。每个坐标都有与独立 Bernoulli 观测相同的均值和方差,但对每个样本量都有 ,均值的方差仍是 。一般而言,均值相同且二阶矩有限时,。一长串相互关联的记录,所含信息可能远少于其行数所显示的。
还要区分随机设计与固定设计。在传感器模型中,把所有测量当作独立抽取,同时反映了所抽情境的变化与测量噪声;实验室也可能事先固定输入位置,这时条件分析只对这些位置上的测量噪声取平均。两种模型都可以合理,但回答的是不同的重复实验问题;一种模型的标准误不能不加说明地搬到另一种模型。
常见错误
常见错误
(把概率保证当作手中样本的性质)
经验平均并非按定义就等于总体目标。无偏是关于期望的陈述,不是关于每次实现的陈述。高概率保证也不能证明当前样本就在有利事件内。把概率不等式中的未知方差换成随机的样本方差,需要新的定理,例如特定分布假设下的置信区间理论;上面证明的不等式并不允许这种替换。
常见错误
(切分记录而非抽样单位)
独立性必须针对抽样单位。同一受试者的多条记录可能共享随机效应;即使程序把记录随机打乱再切分,训练与测试之间仍可能存在依赖。若目的是预测新受试者,就可能需要按受试者切分。
常见错误
(方差不有限或分布不对时仍作平均)
方差有限是实质性假设。标准 Cauchy 随机变量没有可积的均值,也没有有限方差,所以不能仅因计算机算出了一个平均数就引用此定理。同样,蒙特卡洛误差描述在所述分布下的随机积分误差;模拟器若抽错分布,由此产生的偏差并不包括在内。
总结
平均值只有在概率模型指定了目标期望之后才是一个估计量。在独立同分布及方差有限的条件下,其均方误差为 。平方预测风险分解为条件噪声与对条件均值的偏离。独立的测试观测使已训练的固定规则适用平均化结果。更精细的集中不等式、相依抽样及一般学习保证留待以后讨论。
练习
快速检查
(独立测量有共同均值 及方差九。利用已证不等式,要使均值绝对误差至少为 的概率不超过 ,多少次观测足够?解释“足够”的含义。)
解答 · 答案
概率界为 。令其不超过 ,得 。在所述抽样模型下,每个这样的样本量都满足所需的概率界。这是由可能偏松的不等式得出的充分条件,不是必要样本量,也不是确定的误差保证。
快速检查
(设 在 上均匀分布。求 的期望及方差,以及 个独立副本平均的均方根误差。样本量乘以多少才使此误差除以三?)
解答 · 答案
逐项积分得 、,故 。平均估计无偏,均方根误差为 。样本量乘九,误差才除以三。仅凭均方根计算,不能推出关于某一次实现的结论。
快速检查
(设 以相等概率取负一及正一,,其中 独立、均值为零、方差为二。求每个仿射预测 的风险,并找出所有最小化参数。)
解答 · 答案
条件均值是 。展开它与 之差的平方,并用 、,得 。唯一的最小化参数是 、,风险为二。这里的唯一性针对仿射参数;一般的总体预测函数只在 的支撑上确定。
快速检查
(设 个随机变量有共同正方差 ,每对不同变量的协方差均为 。推导其平均值的方差,并解释当固定正的 随 增大而持续存在时,方差为何不能继续降低。)
解答 · 答案
协方差总和有 个对角项及 个非对角项,因此方差为 。固定正的 使其趋于 ,收集更多相关副本无法消除共同的随机性。此外,协方差结构必须半正定;对固定的 及 ,等相关参数必须介于 与一之间。