动机
正交设计下,lasso 可逐项软阈值求解,因为每个系数控制一个独立二次项。真实预测变量常有重叠;改动一个系数,也改动其他系数看见的残差。因此把普通最小二乘向量阈值一次,通常不是答案,算法必须反复处理这些互相影响。
坐标下降固定其他系数,每次精确解一个标量问题;近端梯度则以二次上界控制耦合损失,再精确处理可分离的非光滑惩罚。两者保留绝对值在零的尖角,因此能产生精确零系数,不必假装目标处处可微。
小样本还有另一层问题:看完验证分数才选惩罚,也是在使用信息。若把胜出分数再当独立评估,就会产生选择乐观。本节把求解证书与评估程序连起来,同时分清系数选择、未来预测及真实科学机制的恢复。
定义
定义 8.1.1
(已指定尺度的 lasso)
设 、、,最小化
记 为第 列,平滑梯度是 ,Lipschitz 常数可取 。软阈值为 ,;向量逐项套用。
损失分母不可忽略:改分母却不改惩罚,就改了问题。此处不含截距;不受惩罚的截距可用训练数据中心化消去,预测时再还原。交叉验证内,均值与尺度必须只由该折的训练部分估计。若某列在该部分恒定,中心化后为零列,需要明确移除或取零系数,不能借用验证数据的方差。
标准化也是建模选择。预测列除以尺度后,系数要乘回同一尺度才保持预测;所以转换坐标上的等权绝对值惩罚,对原系数相当于加权惩罚。不同量度单位下的相同数字惩罚并非同一科学假设。应说明在哪个尺度等权惩罚,保留训练估计的转换参数,解释模型时再仔细还原。
定义 8.1.2
(全局训练最优证书)
对残差 ,lasso 最优等价于
这是次梯度条件,在零包含绝对值的区间 。固定 的近端梯度残差为 ,它恰在最优点为零。
整个系数问题是凸的,即使设计秩不足,也有全局证书。但凸性不保证系数唯一;这里的全局最优只关乎已指定训练目标,不表示预测风险最低或找到真实变量。
概念视角几何
Lasso 即限制在 L1 球内的拟合
对一个极小点 ,令 。则 同时是 在 内的极小点,因为该集合内若有损失更小的竞争者,目标值也会更小。这个球是交叉多胞形,其顶点落在坐标轴上,所以损失的等值集可以在一个点与它相切,而该点的某些系数恰好为零。
定理/命题
定理 8.1.3
(精确坐标步与安全向量步)
设 、、。若 ,精确坐标最小点是
若 ,取 唯一最小化该系数惩罚。若 且 ,近端梯度步
满足 ,因此至少下降 。 时答案直接为零。
定理 8.1.4
(不同最优系数仍有同一拟合值)
对固定 与 ,最小点存在。任意两个最小点 都满足 ;秩不足时,系数与所选支撑仍可不同。若 列满秩,系数本身唯一。
定理 8.1.5
(选择会压低胜出者的表面误差)
若有限候选的误差估计 皆可积分,则
此不等式不要求独立。即使每项对相应风险都无偏,最小值通常仍是评估选择程序的乐观分数。独立评估应包含完整选择及拟合规则。
证明思路或证明
证明
(控制二次耦合,但保留绝对值尖角)
固定其他系数,变动部分是 。 时导数零点为 ,正值条件是 ; 时答案为 ,条件是 。其余情况标量目标在 的次微分集合 包含零,故得坐标式,亦涵盖阈值等号。
向量步最小化 。配方后是 的近端问题,标量答案就是阈值 。令 ,最优条件给 ,且 。由凸性,
平滑二次式精确展开,配合 ,得 。相加即得下降。固定点条件为 ,凸性令它充分保证全局最小;逐坐标展开此包含关系,也就得到残差相关证书。
证明透视
耦合与非光滑各有处理方式
Gram 矩阵让预测变量的损失耦合。坐标算法反复计算部分残差;近端算法用可靠曲率界控制整个耦合。惩罚在两者都被精确处理。任意替零位置挑一个导数,或只把无限制答案阈值一次,会破坏最优性推理。
证明
(存在、唯一预测与选择乐观)
因 ,次水平集有界,也因连续性闭合。最小化序列有收敛子序列,极限达到最小值。若两最小点拟合值不同,中点的平方残差严格小于两者平均,惩罚则不大于平均,矛盾。若 单射,拟合值相同推出系数相同;否则没有此结论。
对选择不等式,逐点有 ,对每个固定 取期望,再取最小即证。若不同候选因估计噪声而胜出,可出现严格差距。此式说明报出的最小分数,并非直接给出随机胜出候选的真实风险;后者还要另外评估。
完整坐标求解器循环处理所有满足 的设计列,每次精确更新后维护残差,最后检查所有系数的完整证书,包括零位置。近端求解器计算梯度、用有效曲率上界取步长,再阈值,并用指定近端残差停止。邻近惩罚可用前一解暖启动,但训练解路径不是评估结果。近端观点可参阅 Parikh 与 Boyd 的作者专著;本节所需的特殊推导已完整列出。
小样本评估可保留外折测试整个程序。在每个外折训练集中,用内折选惩罚;每个内折的中心化、标准化及变量筛选,都只用其内折训练数据,再套到内折验证数据,按指定预测损失比较。选定后,在整个外折训练集重新估计转换及系数,只在未碰过的外折评分一次,再按明确规则合并外折预测。最终模型可用开发数据重新选择及拟合;独立测试集留待全部规则锁定后才使用。
这种巢状程序评估的是较小训练样本下的选择规则,不是最终某一组系数的精确保证。外折训练集互相重叠,误差可能相关;小验证集也会让选择不稳。应报分折规则、候选网格、评分函数与外折变化,不能把一个最小值当成精确不确定区间,更不能把稳定支撑当成因果证明。
例题详解
例题 8.1.6
(两个相关预测变量的一轮更新)
取 、、、,不含截距。从零开始,首坐标 ,更新成 。次坐标见部分残差 ,故 ,更新为 。一轮得 ,并非答案。重复后达 ,残差 的两个归一化相关皆为 ,符合 KKT。最优目标为 ;首轮则为 。
例题 8.1.7
(相同预测列产生无限多种支撑)
两列皆为 ,,且 、。拟合只依赖 。三角不等式给 ,非负拆分时取等号。标量最优为 ,故所有非负且和为此值的系数都最优。可只选第一列、只选第二列,或两列皆选;预测完全相同。精确解凸问题,也不能消除变量解释的歧义。
例题 8.1.8
(无偏分数的胜出最小值仍有偏)
两候选真实风险皆为二。各分数独立地以相等概率取一或三,因此各自无偏。两者最小值只有在全取三时才是三,概率 ;其他情形是一。其期望为 ,低于真实风险二。此构造下选中哪个候选,真实风险仍二。独立外层评估要测选择程序,而非重报内层的乐观最小值。
常见错误
反例模式
相关设计不能只阈值普通答案
两预测例的无惩罚精确解为 。两项各阈值 得 ,残差 。第二个归一化相关为 ,大于正系数要求的 ,所以此提议违反全局证书。正确相关设计答案是 。
常见错误
(预测、支撑与因果不是同一目标)
小最优化残差证明的是指定凸训练问题已解好;好的验证预测评估的是指定预测程序。唯一支撑恢复需要设计、信号与噪声的更强条件,因果解释更需要恰当研究设计。相关变量可互换而预测不变,调惩罚不能独自回答这些科学问题。
总结
一般设计的 lasso 需要反复察看残差。坐标下降精确解标量问题;近端梯度以曲率界与精确阈值下降。凸性提供全局训练证书及唯一拟合值,系数却仍可不唯一。诚实小样本评估要把所有转换与惩罚选择都放进被评估程序。
练习
快速检查
(在相关例首轮扫描之后,固定第二个系数为 更新第一个系数,再更新第二个系数,并计算目标值。)
每一步重新计算部分残差,更新依序进行。
解答 · 引导解答
第二系数为 时,第一部分残差 ,归一化相关 、曲率 ,所以首系数成一。次坐标再见残差 ,相关一,故成 。重构 ,残差 ,损失 、惩罚 ,总数 ,介于首轮 与最优 。
快速检查
(证明零向量是 lasso 的最小点,当且仅当最大绝对缩放预测变量与响应的内积 不超过 。)
用零坐标证书。
解答 · 答案
零系数下残差为 ,每项皆不活跃,所以充要条件是所有 ,即 ,容许等号。达到或高于阈值便得零解。若零为最优,唯一拟合值定理使每个最优解均有 ,故损失相同。相同目标值因而迫使 ;由 ,即使不是列满秩,零系数解仍唯一。
快速检查
(两个预测变量都是已归一化的 ,响应为 、。给出三个不同的最小点,并验证它们的共同目标值。)
把总系数二作非负拆分。
解答 · 答案
可取 、、,皆产生 ,残差 ,损失 ,惩罚皆二,目标 。由三角不等式化为标量问题,知它们都全局最优,即使支撑不同。
快速检查
(某验证折同时用来选惩罚、筛选变量及决定响应变换。外层评估必须包括什么?为什么不能重用胜出分数?)
被评估对象包含三项数据依赖的选择。
解答 · 答案
每个外折训练集内,都要重新用内部分折作惩罚、筛选与转换决定,再以整个外折训练集估计已选转换及系数,锁定后才对外折预测,并按指定尺度计损失。外折标签不能影响任一选择。重报内折最小分数,会包含因有利噪声而被选中的成分,正如不等式与例题所示。