二元标签的损失
分数可以排序两类,但训练目标还须指定如何惩罚错误与信心。Logistic 损失光滑且凸;单靠这些性质,不能保证未正则化的最小值存在。
固定 条数据 与标签 。可在 中加入常数坐标作截距。本页研究的目标函数如下。
定义 8.1.1
(正则化 Logistic 目标函数)
对 ,令 为第 条数据的间隔(margin),定义
第一个和式是经验 Logistic 损失, 是惩罚权重。最小点是指满足“对每个 都有 ”的点 。
我们惩罚每个坐标,包括存在的截距。这是固定数据的经验目标;凸性不保证总体校准或泛化能力。
令 。模型可将 分配给标签 、将 分配给标签 ;第一项就是已观察标签的平均负对数概率。这种概率解读是模型选择,并不能证明其概率等于真实频率。
常见错误
(把 标签代入 公式)
间隔 预先假定 。若标签以 和 存储而直接代入,则每条 的数据都贡献常数 ,与 无关,梯度因而完全忽略这一类。应先重新编码 ,或改用等价的 0/1 形式 。
梯度、曲率与步长界
定理 8.1.2
(凸性与光滑性)
令 ,则
时目标函数为凸,其梯度有以下有效的 Lipschitz 界:
当 ,最小点存在且唯一。
证明
(求导、限制曲率,再用强制性)
对 求导得 ,二阶导数为 。对 用链式法则,并由 ,得到上述梯度与 Hessian。每个外积 均半正定,每个权重 非负,因此 Hessian 半正定, 为凸。
此外 。对任意向量 ,Cauchy–Schwarz 不等式给出 ,故
二次型不超过 的半正定矩阵,其算子范数不超过 。把 写成 ,便得 。
若 ,Logistic 各项非负,所以 。于是下水平集 是有界闭集,连续函数 在其上取得最小值,该点就是全局最小点。Hessian 至少为 ,故 严格凸,最小点唯一。这个强制性论证使用了对每个坐标的惩罚。
证明透视
每个界各负责什么
标签约定只出现一次: 把标签从 Hessian 中消去,所以曲率只取决于特征。界 (在 取等号)配合 Cauchy–Schwarz 不等式,给出曲率上界 ,这正是步长规则所需要的。凸性本身只用到权重的符号。
存在性是需要假设的一步。关键做法是丢掉损失,只保留 。这个下界在每个方向都增长,因此搜索范围被限制在一个有界的下水平集内,再由连续性完成论证。若 ,下界变成 ,什么也限制不了;下面的反例说明此时最小值确实可能不存在。同一个曲率下界 也给出唯一性,所以一个假设同时完成了两半。
曲率常数也控制单个梯度步。
引理 8.1.3
(梯度下降的单步下降)
设 为定理中的常数,,,并取 、。则
特别地, 给出 。
证明
(沿步长积分梯度)
令 。沿 到 的线段用微积分基本定理,
由 Lipschitz 界,,而 。因此 ,即所求。若 ,则 。
这是对所述目标和界的单步精确算术保证,不能认证某个实现或停止容差。若 ,所有特征和 均为零,目标为常数。
有限最小值与没有最小值
例题 8.1.4
(同一特征上的冲突标签)
取 、、、、,则
利用 ,其导数为 。它只在 为零并在该处变号,所以唯一最小点是 ,值为 。此分数无法严格分开数据。这里 是有效曲率界。
例题 8.1.5
(带惩罚的一步梯度下降)
取单条数据 、 及 ,则 ,。定理给出 ;取 。
从 出发:,所以 。引理保证下降至少 。直接计算,
下降约 ,刚好高于保证的 。最小点满足 ;由于 ,一步之后 已距最小点约 以内()。
例题 8.1.6
(可分数据:惩罚消失时最小点逃向无穷)
取 与 。两个间隔都等于 ,所以 。当 时没有最小点(见下面的反例)。
当 ,唯一最小点 满足 。由于 且 递增,;由于 ,。若沿某个 的序列 一直小于某个 ,则 ,矛盾。因此 时 。这是定理的边界情形:对每个正的 最小点都存在,但其大小只受惩罚控制。
反例模式
凸不代表最小值一定达到
若只有一条 且 ,损失 对每个有限 都为正,当 时趋向零。下确界是零,却没有有限最小点。更一般地,若向量 对每条训练数据满足 ,则 (),但每个有限损失均为正。加入 并惩罚所有坐标可恢复唯一有限最小点,但也改变了目标。
数值计算时应以稳定的 softplus 实现计算 ,避免直接形成可能溢出的指数。数据缩放影响曲率界和实际步长。有限数据证明不能保证分类器在新数据上的准确性、校准、公平性或稳健性。
常见错误
(不惩罚截距却仍声称最小点存在)
若 而惩罚只作用于斜率,下界 便不再成立。例如所有标签均为 时,取斜率 、截距 ,目标为 ,当 时趋向 ,而对每个有限 均为正,所以即使 也没有最小点。此时必须对未受惩罚的方向另作论证。
习题
快速检查
(对 、、,计算 并解释为什么没有有限最小值。)
看导数的符号。
解答 · 答案
对每个有限 有 ,所以 严格递减。最小点需要 ;实际上损失在 时趋向零,却永远达不到。
快速检查
(在冲突标签例子中,求最小点及其损失。)
解答 · 答案
导数 只在 为零,所以最小点是 ,且 。
快速检查
(若每个 且 ,给出有效的 及引理中的步长范围。)
解答 · 答案
,所以 是有效界(较大的常数仍是 Lipschitz 常数)。于是 给出保证下降量 。
快速检查
(为什么惩罚每个坐标与存在性证明有关?)
解答 · 答案
证明用 从下方界住目标,迫使它在每个方向趋向无穷,从而把搜索限制在有界集内。若某方向不受惩罚,这个界对该方向毫无作用;不受惩罚的截距加上全部相同的标签,已经没有最小点。
延伸阅读
斯坦福统计学 Logistic 回归笔记 讨论似然、导数与凸性。