分数与概率
二元分类器可以不只输出硬性标签。对特征向量 ,令 并定义
这是条件概率模型,并不保证其数值在新数据上已校准。以 为阈值,当 预测 ,当 预测 ; 时须选定平局规则。不同决策成本可能支持不同阈值。
由似然到损失
对观测标签 及特征 ,令 ,模型赋予观测标签的概率是 ,因为 。若在模型下、给定特征后标签条件独立,则每个样本的平均负对数似然为
没有条件独立假设时,仍可选用同一表达式作损失,但乘积似然的解读尚未得到论证。很大的正带符号分数 给出小损失;很大的负分数则给出大损失。分数的符号控制硬性预测,大小则影响损失。
定义 6.1.1
(带符号分数与严格可分)
对参数 及样本 (),带符号分数为 。若存在 使每个 都有 ,便称训练集严格线性可分。
命题 6.1.2
(logistic 损失的凸性与梯度)
损失 是可微的凸函数,且令 ,则
证明
(凸的标量损失与仿射分数的复合)
对标量函数 ,有 及 ,故 是凸函数。每个带符号分数 都是 的仿射函数,凸函数与仿射函数的复合仍是凸函数,凸函数的平均亦然。由链式法则,,,其中 。对 取平均便得所列梯度。
单有凸性不保证有限最小解,也不保证每个参数方向都严格凸:例如未使用的特征可使一整个方向的损失不变。
两点可分例子
例题 6.1.3
(零截距的两个点)
取一维特征并把截距固定为零。数据为 及 时,两个带符号分数都是 ,故平均损失为
每个有限 都使损失为正,但当 ,。数值上 、、。所以下确界是零,却没有有限 取得。对每个 ,两个样本均分类正确,但概率损失仍奖励更大的间隔。这只演示此数据集不取到下确界,并非说每个凸损失都如此。
同一机制适用于每个严格可分的训练集。
定理 6.1.4
(可分数据没有 logistic 最小解)
若训练集严格线性可分,则对每个 都有 ,但 。因此 没有最小点,也没有驻点。
证明
(放大分离器)
每一项 都为正,所以 处处为正。设 分开数据,带符号分数为 ,并令 ;因为集合有限, 为正。对 ,参数 的带符号分数是 ,所以
因此 ;而 ,下确界永不取得。可微凸函数的驻点必是全局最小点,所以不存在驻点。
证明透视
严格性与放大在哪里发挥作用
证明靠两个要素。严格性 使同一个放大倍数 能同时增大所有间隔;若有某个间隔为零,该样本的损失沿射线会一直停在 。每一项为正,则说明下确界永不达到。证明非取得性时并没有用到凸性;凸性只用来排除驻点。有界闭区域捉不住趋近下确界的序列:在固定区间上,连续损失确会取得最小值,但扩大区间会把这个最小点推得更远。一旦有某个间隔不可能变为正,结论便不再成立,下面的例题会说明。
常见错误
(以为可分数据上梯度会变为零)
在两点例子中,对每个 都有 ,所以方程 无解。解梯度方程,或运行梯度下降直至梯度很小,得到的权重取决于停止规则:梯度大小 要到 超过约 才会小于 ,容许误差越小,权重越大。所返回的权重是停止规则的产物,并不是对一个存在的最小点的估计。
例题 6.1.5
(同一点上的矛盾标签)
取两个特征相同 而标签相反的样本,、,截距固定为零。不存在分离器:两个带符号分数是 和 ,不可能同时为正。损失为
因 严格递增, 与 同号,所以 在 之前递减、之后递增。此外 。唯一的最小点是 ,,两个概率都是 ,对互相矛盾的标签而言这是诚实的答案。这里之所以有有限最小点,正是因为数据并不可分。
加入惩罚后的变化
例题 6.1.6
(二次惩罚恢复了最小点)
对数据为 与 的零截距例子,加入 的二次惩罚:
此时 。导数连续且严格递增,在零处为 ,并在 时趋于 。介值定理给出恰好一个正零点 。 严格递增显示 在 前递减、之后递增,所以这是唯一全局最小点,其方程为
当 ,方程给出 ,,而 。若 时 保持有界,左边会趋于 ,右边却保持为正,所以 :带惩罚的解趋近未加惩罚损失的行为。
惩罚本身也不能确立样本外准确率。惩罚作用于哪些参数,同样重要。
反例模式
只惩罚权重未必得到最小点
命题:在权重上加二次惩罚 ,带惩罚的 logistic 损失必定有有限最小点。取一个特征和两个样本 、,标签都是 。带符号分数是 和 ,所以
在 时,,当 趋于 。因此 不能取得,没有有限的 是最小点。惩罚控制了 ,但不受惩罚的截距单独就能使每个带符号分数变得很大。若连截距也一并惩罚,即用 ,目标函数便是强凸的,最小点因而存在而且唯一。
习题与解答
快速检查
(当 ,模型给出什么概率?)
计算 。
解答 · 答案
两者都是 ;硬性预测须使用已规定的平局规则。
快速检查
(在两点例子中, 和 是多少?)
把 代入公式。
解答 · 答案
且 。
快速检查
(为何带惩罚例子的最小点为正?)
看 的符号及 的单调性。
解答 · 答案
严格递增,,而其唯一零点在零的右方。
快速检查
(可微凸损失必定有有限最小解吗?)
回想未加惩罚的两点损失。
解答 · 答案
不一定。未加惩罚的两点损失是凸函数,却只在 时趋近下确界。