动机
模型已看过训练响应的噪声,因此训练误差比预测独立重复观测容易。复杂度修正试图补回这项优势,但不同准则估计不同量:平方预测误差的修正,不自动是对数密度的修正;Bayes 积分似然也不是前两者。
先从固定线性拟合规则做有限样本计算,即使均值模型有偏,也能精确找出训练乐观量。之后在同时估计高斯(Gauss)回归系数与方差的情形推有限修正;额外小样本项来自残差方差的倒数,而不是随意加大的惩罚。
最后才讨论一般信息准则。简短公式藏着参数维度、似然规则性、抽样与比较目标等假设。要分清哪些已由本节证明,哪些只是外部渐近结论,以及哪些模型不符合两者。
定义
定义 26.1.1
(固定设计预测与线性平滑器)
设 , 确定,。独立重复响应为 ,设计位置相同。对确定矩阵 ,拟合 。训练平方误差为 ,重复响应误差为 。有效自由度定为 。
必须在看响应前固定。预先指定惩罚的岭矩阵可以;观察响应再搜索选出的矩阵,不能只代入实现的迹。随机设计可先条件于设计,但噪声假设也要在该条件下成立。
定义 26.1.2
(似然分数与参数计数)
对最大似然模型,设 , 为独立估计的实参数数。惯用分数是 、。估计截距及共同方差要计入,预先固定量则不计。列满秩高斯回归若有 个均值系数及未知方差,便有 。
比较要用同一批响应及同一基准测度。各模型共通常数可略,不同响应转换或数据子集的常数不能略。最大化无惩罚似然与最小化惩罚目标亦不同。平滑器有效维度描述对响应的敏感性,不能未加论证就替代每个信息准则的规则参数数。
定理/命题
定理 26.1.3
(有限预测乐观与 Cp 修正)
上述固定平滑器满足
因此训练误差加 无偏估计平均重复响应误差;再减 ,便无偏估计 。若 为秩 正交投影, 估计均值向量预测误差除以方差。
定理 26.1.4
(精确高斯小样本离差修正)
设 ,确定列满秩 ,高斯误差正确,方差未知且 。取最小二乘 及最大似然 。同设计独立重复的 满足
设 ,则此期望离差的无偏修正分数为
精确性只对固定、正确指定的回归模型成立,不包括搜索后的胜出模型、错设模型或任意非线性模型。
定理 26.1.5
(推出 BIC 主项的一组充分 Laplace 条件)
取固定 维模型,似然 ,内部最大点 ,先验密度 在 连续且正。把参数域外的缩放被积函数延伸为零。假设逐点有
其中 ,而所有被积函数受同一与 无关的可积包络支配。则边际似然有 。随机样本需在满足这些条件的设定下解读,或另证概率版本。
证明思路或证明
证明
(先展开两个平方误差再相消)
设 。零均值与独立性给
而
偏差与拟合噪声方差相消,留下乐观差。移去独立未来噪声 ,得均值版本。投影有 。证明没用均值正确性,容许近似偏差;甚至只用二阶矩,不必高斯。下一个精确离差证明才真正需要高斯分布。
证明
(高斯正交子空间产生 AICc)
令 ,。正交坐标把 化成 个一及 个零。等方高斯坐标独立,故 与 独立,于是 与 独立。
高斯似然给 ,。分子期望为 ,分别由未来噪声及拟合均值噪声贡献。
卡方密度正比 ,除以 积分并用 gamma 递推,得 时 。所以
改写成 即得公式。 时倒数矩发散,不能照用零或负分母的形式。把方差除数换成无偏估计的除数,也会改变离差,须重新推导。
证明透视
两个精确修正有不同条件
Cp 容许有偏的固定线性均值拟合、已知方差,目标是平方误差。精确 AICc 还用正确均值、高斯正交独立及有限卡方倒数矩。变量选择或调参让规则依赖数据后,两个证明都不能原封不动沿用。
证明
(维度惩罚来自体积因子)
边际似然积分作 换元,Jacobian 带来 。依逐点收敛与包络条件,支配收敛得
取负二倍对数即证。局部 Hessian 本身不足以控制全参数空间积分,包络或另证尾部集中不可省。余项含先验与曲率,可因模型不同;因此 BIC 是主项近似,不是有限样本后验概率。
一般 AIC 的论证不同:正确、可识别、固定维平滑似然,真参数在内部、Fisher 信息非奇异,并有足够矩与尾部控制,才有期望似然乐观主惩罚 。这个一般渐近结果在此属外部结果;本节证的是有限高斯亲属。错设时曲率与分数协方差可不同,普通参数计数未必合理;奇异混合及潜在模型也可能破坏普通 BIC 的二次 Laplace 条件。
固定岭规则 的有效自由度由 SVD 得 ,不等于非零系数数。若惩罚预测列已中心化,不惩罚截距的正交常数方向再贡献一。若看 才选惩罚,固定规则证明不会补回搜索代价。随意代入某个残差方差,也不能保留已知方差版本的精确无偏性。
计分前先写响应向量、拟合规则、预测目标及估计参数,再问哪个修正已被证明。每个固定候选的无偏分数,经取最小后也不保证对胜出程序无偏;完整搜索仍可用独立数据评估。这与稀疏学习单元中的选择乐观是同一层问题。
例题详解
例题 26.1.6
(投影的训练与重复误差)
、投影秩三、方差二,均值可正确表示。期望训练误差为 ,重复误差 ,修正十二。减未来噪声二十,均值估计误差六。若均值近似偏差平方五,训练与重复期望各加五,差仍十二。
均值向量误差看拟合对无噪声均值的估计;重复响应再加入新观测噪声;训练误差却重用塑造了拟合的同一份噪声,造成优势。例中的两项修正因此有不同符号与目的:减去未来噪声,不是修补训练乐观的另一种写法。
概念视角分析
乐观度即拟合值与自身观测值的协方差
对固定的平滑矩阵,,所以乐观度等于 :每个拟合值与其所拟合的响应之间总协方差的两倍。有效维数 因此衡量每个拟合值跟随自身观测值的强度,这也说明为什么岭拟合的代价可以少于其系数个数。
例题 26.1.7
(岭平滑器的分数维度)
两个非零奇异值平方为九与一,惩罚一。平滑特征值为 ,有效自由度 ;方差一时乐观量 。只数两系数会得四。拟合噪声方差乘数却是 。同一平滑器的不同迹回答不同问题。
例题 26.1.8
(小样本修正可以很大)
、均值系数 、未知方差,故 。AIC 加八;精确 AICc 加 ,约 10.67;BIC 加 ,约 11.98。数字排序不表示它们估同一个量:前两者在相应条件下关乎预测离差,后者近似积分似然比较。
常见错误
反例模式
名义参数数忽略了适应性搜索
人们很容易以为,即使投影由数据挑选,乐观仍是所选矩阵的迹乘 。事实并非如此。取 、、,以及两个固定的坐标轴投影 、。选择投影能量 较大者,即 ,。所选矩阵的迹恒为一,但训练误差是 ,重复响应误差的期望是 。由于 ,且 ,其中 、 是独立的标准正态变量,所以 。因此乐观为 ,并非 。固定矩阵下交叉项相消所依赖的独立性,在矩阵依赖响应之后已不成立;用独立数据评估整个搜索过程,仍是评估其预测表现的有效方法。
常见错误
(AICc 不是任意小样本的通用修补)
此精确式要求固定正确高斯回归及足够残差自由度。把混合模型的非正式参数数塞入同一分式,不会修复协方差塌缩或不可识别。BIC 差值也不是自带校准的后验概率;模型特定余项及模型先验概率仍要处理。
常见错误
(同一个平滑器的两种迹)
对固定的平滑器, 决定乐观, 则出现在拟合值的方差中,而训练误差的期望噪声部分是 。对投影而言两个迹相同,这掩盖了两者的区别。对上面的岭平滑器,特征值为 与 ,两个迹分别是 与 ,所以训练误差的噪声部分是 。若改用 ,就会出错。
思想史
已核对但不同的出发点
Akaike 的 1974 年原文 提出带拟合参数惩罚的似然准则;Schwarz 的 1978 年原始记录 描述 Bayes 渐近维度论证;Hurvich 与 Tsai 的 1989 年论文 发展小样本修正。本节有限回归公式已按自身目标与计数证明。Flynn、Hurvich 与 Simonoff 的错设惩罚似然研究 第 2.1 节亦明列归一化 AICc;并非把该较广研究当成本节全部定理的原始来源。
总结
固定线性规则的协方差代数给精确平方误差乐观修正;正确高斯回归估方差后,由倒数矩再得到 AICc。一般 AIC 与 BIC 分别需要似然渐近与边际积分条件。参数数、平滑器迹、残差自由度及搜索复杂度不是同一个数的不同名字。
练习
快速检查
(固定秩四投影,十二观测、方差三,均值近似偏差平方二。求期望训练、重复及均值向量预测误差。)
偏差在三个目标都出现。
解答 · 答案
训练期望 ,重复期望 ,乐观差 24。均值误差 ,亦等于重复误差减未来噪声 36。无偏观测均值风险估计是训练误差加 24 再减 36,不是原残差本身。
快速检查
(固定岭平滑器特征值为 、、,其他皆零,求有效自由度、拟合噪声方差乘数及乐观量。)
分清迹与平方的迹。
解答 · 答案
有效自由度 ,拟合噪声方差乘数 ,乐观量 。都要求平滑器在观察响应前固定;从响应噪声再选特征值,需另作分析。
快速检查
(正确高斯回归 n 十、p 四,求精确离差修正并与 AIC 比较。n 降至六会怎样?)
计方差参数并检查卡方倒数矩。
解答 · 答案
,精确修正 ,AIC 只加十。 时残差自由度二,倒数卡方期望发散,分母零反映这个预期重复离差无限,不是删一项就能修好的有限分数。
快速检查
(为何局部非奇异 Hessian 不足以证 BIC?指出定理的全局条件,以及奇异混合可能失效之处。)
积分包含局部邻域外的参数。
解答 · 答案
另一区域可能有重要似然质量,尾部也可能令极限与积分不能交换。本定理对整个缩放被积函数设可积包络,才能用支配收敛。规则可识别模型可另以集中证明类似控制;奇异混合则可能有非孤立参数化、退化信息或无界似然,破坏普通二次与体积计算。