二元逻辑回归通过一个线性得分建模概率 。许多分类问题有 个无序类别。Softmax 回归为每类赋予线性得分,再将得分向量转为概率向量,从而推广二元模型。本节推导似然及交叉熵、梯度与 Hessian,讨论数值计算、公共平移造成的不可识别性、最小点存在性,以及拟合概率与分类评估的联系。
模型与似然
固定 个类别及观测 (),其中 、、。将特征向量作为设计矩阵 的行 。参数矩阵 每列对应一类,得分为
定义 5.3.1
(Softmax 概率)
给定第 行的得分 ,softmax 概率为
每个指数均严格为正,故 ;分子之和等于分母,故 。由于 且其他类也有正概率,每个有限 都满足 。
统计模型假设给定特征时 条件独立,且 。条件似然为 ;用下面的记号,。
定义 5.3.2
(log-sum-exp 与平均负对数似然)
对 ,记 。 的平均负对数似然为
交叉熵之名来自以下恒等式:把标签编码为独热向量 ,则 相对于 的交叉熵 恰是上式第 项。因为 ,每项严格为正,因此每个有限 都有 ;这在后文很重要。
梯度与 Hessian
定理 5.3.3
(梯度与方向二阶导数)
对每一类 ,
等价地 ,其中 , 是 的独热标签矩阵。令方向 ,并设 ,则
故 在 上凸。
证明
(沿直线求导)
固定第 行。沿 ,得分为 。定义
并令 为变化中得分的 softmax。对和的对数求导得 。
商法则给出
因此
线性项 对二阶导数无贡献。
时,。它是 与一个矩阵的内积,该矩阵第 列为 ,因此它是第 项的梯度。对 求平均便得两个梯度公式。
令 。展开平方得到
所以每个方括号都是以 为权重的 方差,因而非负。二次连续可微函数若沿每条直线的二阶导数非负,则在每条直线上凸,因此本身凸。
梯度有两个值得注意的性质。第一,它是残差加权和:若某类预测概率 低于观测指示值,梯度会把该类推向相应特征向量。第二,;公共平移与规范一节说明这个零和反映模型的对称性。
例题 5.3.4
(两行数据的概率与梯度)
令 、,取 、,及 、。参数列为 、、。计算概率、、每类梯度及预测。
得分为 、。
第 1 行指数为 ,和为 ,故 。损失为 ,残差向量 为 。
第 2 行指数为 ,和为 ,故 。损失为 ,残差向量 为 。
平均损失 。
各类梯度为 ,其中 是第 行残差向量第 项:
- ;
- ;
- 。
梯度和为 ,符合上文的说明。第 1 行最大概率属于类别 1,但标签为 3;第 2 行最大概率属于类别 3,但标签为 1。训练准确率为 。
稳定计算 log-sum-exp
定理 5.3.5
(按最大值平移的 log-sum-exp)
对 ,令 ,则
且 。
证明
(提出最大的指数项)
从求和中提出 :。取对数即得第一式。
每个指数 不大于 ,所以每项至多为 ,和至多为 。至少一个下标达到最大值,其项为 ,故和至少为 。把恒等式代入 ,得到对数概率公式。
这个改写避免对很大的正得分取指数导致溢出,但并不使运算精确。很负的平移后指数仍可能下溢为零;求和保留等于 的项,但微小贡献可能丢失并影响舍入;即使两个有限极端得分相减也可能溢出。舍入误差仍然存在:得分绝对值很大时, 之差可能因消去而损失相对精度。这里的稳定性是避免不必要的浮点失败,而非保证特定精度或运行时间。
概念视角分析
log-sum-exp 是光滑的最大值
定理中的界表明 ,而 的梯度恰好是 softmax 向量 。因此 是最大值的一个凸且可微的替代,每个损失项都满足
在相差不超过 的意义下,损失就是最大得分超出真实类别得分的量。确切地说,它等于 ,只有当其他每个得分都无限落后时才趋于零。
常见错误
(对计算出的概率取对数)
以比值计算的概率可能舍入为 ,再取对数便得到 ,尽管精确损失是有限的。应直接用定理中的公式 计算对数概率,而不是对计算出的概率再取对数。
例题 5.3.6
(得分 )
指数为 ,和为 ,故概率 。
标签 时损失为 ,等于 。关于得分的梯度为 ,各分量和为零。
稳定计算得到相同结果:,平移后得分为 ,指数 之和为 ,故 。
所有得分加同一常数 会使每个指数乘 ,概率不变。损失成为 ,也不变。若此行特征向量为 ,数据集大小为 ,它对 的贡献是 。
快速检查
(在不溢出的前提下,把 计算到小数点后四位。)
先提出最大的指数项。
解答 · 答案
此处 ,平移后的指数为 。最后一项下溢为 ,可以忽略,所以和为 。因此 。直接计算 会溢出。
公共平移与规范
定义 5.3.7
(等价参数与规范)
若存在 使 ,即每一列都加上同一个向量,则称参数矩阵 等价。参照类规范是条件 ;和为零规范是条件 。
定理 5.3.8
(公共平移不变性与规范代表元)
对任意 ,把每个 替换为 ,会使每个 的概率 不变,特别地 不变。每个等价类恰有一个满足参照类规范的矩阵,也恰有一个满足和为零规范的矩阵。
证明
(先平移,再选代表元)
平移使 处每个得分都增加 。所有得分加同一常数不改变 softmax;损失项改变 。
参照规范取 即得最后一列为零的代表元。若 和 的最后一列均为零,则 ,故代表元唯一。
和为零规范取 ,其中 ;新列之和为零。若 与 的列和均为零,则 ,故 。
该等价关系恰好刻画在每个 上给出相同概率的参数矩阵。若 对所有 给出相同 softmax,由 可知 不依赖 。记共同差为 ,则对每个 有 。减去 的式子得到 ,对所有 成立。因此每个 满足 ,即公共平移。
即使 列满秩,也存在这种不可识别性;它属于参数化而非数据。数据还可能带来其他歧义:若训练行不张成 ,存在非零 使所有 。只给某一列 加 不改变训练得分及 ,但可能改变训练行张成空间之外的新点预测。
例题 5.3.9
(规范代表元与一个不可见的变化)
令 、、。求两个规范代表元,验证它们在 处一致并给出预测。再设每个训练行都是 的倍数,展示对训练数据不可见的参数变化。
参照规范减去 ,得 、、。
和为零规范中列均值 。减去它得到 、、,各列和为零。两个代表元的每列都相差共同向量 。
在 ,原得分为 ,参照规范得分为 ,和为零规范得分为 。后两组分别将原得分共同平移 和 。三者均给出
类别 1 与 3 并列。按预先固定的最小下标规则,预测类别 1。
对于仅在训练上不可见的歧义,取 ,它与 正交,故与每个训练行正交。把 换成 ,训练得分不变,但在 处类别 2 得分增加 。
定理 5.3.10
(和为零规范下的正定性)
若 张成 ,则对每个有限 ,梯度与 Hessian 一节中的二次型在每个满足 的非零方向 上严格为正。因此 限制在 上严格凸。
证明
(零方差迫使方向为零)
若二次型为零,每行贡献的非负方差都为零,因此 。每个 ,故所有 满足 。
对 求和:,故所有 都有 。由于各行张成 ,每个 与整个 正交,因此为零,故 。
参照规范同理: 给出 ,于是直接得到 。规范子空间中每条线段上的 Hessian 正定,故限制函数严格凸。
证明透视
三个假设,三项分工
证明从梯度与 Hessian 一节的方差分解出发,所以唯一的问题是:每行的方差何时能全部为零。每个假设各自排除一种可能。
有限保证每个类别都有 。正是这一点把加权方差为零变成对所有 都有 ;若某个概率为 ,对应的 就不受约束。这种正性并不一致:沿趋于无穷远的路径,某些概率趋于 ,曲率也可能趋于 ;下一节正因此能出现严格凸却没有最小点的情况。
规范条件排除公共平移方向。没有它,对每个 取 就给出常数 和零方差,这正是上一个定理的不变性。该条件只在一步中用到:对 求和,把 变成 。
张成条件把“对所有训练行 ”变成 。下面例子中的第三个方向说明它不能省略。
严格凸只保证至多一个最小点,并不保证最小点存在。
例题 5.3.11
(三个方向上的方差形式)
取一行 、,如上文两行数据例子的第 1 行。分别在公共平移、非常数方向、与 正交方向上计算方向二阶导数。
(a) 公共平移:所有 取 ,得每个 。常数的加权方差为 ,符合公共平移不变性。
(b) 非常数方向:取 、、,它们和为零,。于是 、,方差为 。
核验:得分 Hessian 为
且 。
(c) 与 正交的方向:取 、、。它们和为零且非零,但 ,所以二次型为零。单行不能张成 ,故定理的张成条件不可省略。
最小点的存在性
反例模式
严格凸、有下界,却没有最小值
取 、、、、。在参照规范中令 、、。得分为 ,且
当 时,它严格下降至 。模型与似然一节表明每个有限参数都满足 ,因为 ,故下确界 不能取到。
单行 张成 ,因此前一定理适用:损失在规范下严格凸,却没有最小点。整个二维规范 上也是如此,因为其下确界也为 。
失效原因是数据只能在极限中被完美拟合。这里不声称每个不可分数据集都有有限最优值;这种结论需要另行证明。相反,惩罚可以保证存在性。
定理 5.3.12
(完整岭惩罚给出唯一有限最小点)
对 ,在全空间 上对每个系数施加惩罚,则 恰有一个最小点,且该点满足 。
证明
(强制性、紧致性与严格凸性)
因为 ,有 。 时概率均为 ,故 。次水平集 有界,由连续性它也闭且非空。连续函数在非空紧致集上取得最小值,该点也是全局最小点。
的方向二阶导数是方差形式加 ,当 时为正。所以 严格凸,最小点唯一。
最后,,而平移不改变 。若 ,减去列均值会严格降低 ,故最小点有 。
惩罚改变了目标函数,其最小点未必是 的最小点,且 不再对原始公共平移不变。
常见错误
(截距不受惩罚时仍期望最小点存在)
该定理要求每个系数都受惩罚。若截距或部分系数不受惩罚,则不能笼统保证存在性。前述反例中,把 视作不受惩罚的截距,则 ,没有最小点。
二元情形
当 ,取参照规范 ,故 。于是
记 。损失项为 ,等于 ,即二元逻辑损失。梯度 也是熟悉的逻辑回归梯度。不设规范时 ,故数据只提供差 的信息。
从得分到决策与评估
固定其他得分时,增大 会严格增大 ,因为
它会严格减小每个 的 ,同时其他类别之间的比值不变。所有得分共同平移则什么也不改变。改变 的某个系数会使 改变,其符号依赖 ,所以系数通过得分起作用,而非均匀起作用。
预测是决策,与概率向量不同。Softmax 保持类别得分的顺序,故 。可能出现并列,须预先固定规则,例如选择最小下标。
快速检查
(对得分 ,给出 softmax 概率,以及按最小下标并列规则的预测。)
概率只取决于得分之差。
解答 · 答案
记 ,概率为 。类别 和 的得分并列最大,所以最小下标规则预测类别 。并列是决策规则的问题;概率本身是明确定义的。
不同代价结构可能支持其他规则,例如最小化期望误分类代价。
稳定计算概率并不能说明概率是否校准,即预测概率为 的事件是否约有 发生。校准必须在留出数据上评估。
标签到 的映射须在留出评估前固定,训练与测试一致使用。留出集平均交叉熵、准确率及 混淆矩阵都基于该映射计算。
训练损失低本身不意味着新数据表现好。泛化主张需要例如共同分布抽样等假设;标准误与其他推断还需要可识别性与模型假设。拟合系数描述关联,没有额外设计或假设不能得出因果结论。
练习
练习 5.3.13
(令 、,、,、,记 。把 化为 的函数,证明没有最小点,并求 时完整岭目标 的最小点。若固定 且只惩罚 ,会有什么变化?)
核心
解答(5)
- 1
化为一个参数
第 1 行贡献 ,第 2 行贡献 ,故 。取 、,得分为 ,与二元情形一节的二元逻辑损失一致。
- 2
证明最小值取不到
,故没有驻点,且 时 。数据可分:任何 都正确分类两个点,增大 总会降低损失。
- 3
求解完整惩罚的驻点方程
关键一步
与 给出 ,于是 ,且 。当 , 满足该式,因为 。
- 4
确定最小点
、,在 处拟合 。
依据: 严格凸,所以驻点就是唯一最小点。
- 5
与固定规范的惩罚比较
若固定 且只惩罚 ,条件变为 。当 ,右侧等于 ,故最小点不同。在不同规范代表元上套用同一未经变换的惩罚公式可能改变拟合模型。