动机
非线性模型即使参数远多于观察预测,也可能难以训练。参数个数只描述向量长度;成功拟合要求模型能按残差所需的方向改变观察输出。Jacobian 正好量度这个局部能力。其行 Gram 矩阵正定,表示每个非零输出残差方向都会产生非零参数梯度。
初始化时正定只是一个起点。训练过程若使 Jacobian 改变太多,原来可用的方向就可能消失。因此完整论证需要两个相连估计:一个保持有效几何的邻域,以及一个保证轨迹不会离开该邻域的路径长度界。若只证明其中一个,却把另一个沿整条轨迹当作假设,便留下循环。
以下给出二次连续可微模型的确定性充分条件,再处理离散梯度下降。只有在实际模型验证数值条件后才可应用,不能从宽度自行推出。因此它不是所有随机初始化神经切线核定理的证明,经典光滑假设也不能未经额外分析便套到不可微 ReLU。
定义
定义 7.1.1
(残差、输出 Jacobian 与局部稳定性)
设 F:U⊂Rp→Rn 在开集上为 C2,固定标签 y∈Rn。采用未平均的最小二乘损失
L(θ)=21∥F(θ)−y∥22,r(θ)=F(θ)−y,J(θ)=DF(θ),K(θ)=J(θ)J(θ)T.Jacobian 有 n 行、p 列。初始化为 θ0,记 ρ=∥r(θ0)∥2。正行奇异值下界 s 表示每个 v∈Rn 都有 ∥J(θ0)Tv∥2≥s∥v∥2。
这要求 p≥n,反向却不成立。条件关乎特定观察模型的行秩及条件,并非只有维度。向量用欧几里得(Euclid)范数,矩阵用算子范数。设以初始化为中心的闭球 BR 包含在 U,Jacobian 在球上为 A-Lipschitz;局部线性情况容许 A=0。
梯度流是 θ˙=−∇L=−JTr,离散下降是 θk+1=θk−η∇L(θk)。损失用总和而非平均,所以方程没有隐藏的 1/n。平均损失会相应改变时间尺度及容许步长。
概念视角分析
从输出空间看训练
沿梯度流,残差满足 r˙=Jθ˙=−K(θ)r,这是输出空间中的线性方程组,只是矩阵随 θ 变化。对线性模型 F(θ)=Jθ,矩阵是常数,r(t)=e−tKr(θ0):沿 K 的特征值 μ 对应特征向量的分量按 e−μt 衰减,零特征值的分量则完全不变。非线性定理只保留球上一致的下界 K⪰(s2/4)I,所以速率是 e−s2t/4。
定理/命题
定理 7.1.2
(稳定 Jacobian 令梯度流留在拟合区域)
若 s>0、AR≤s/2,且 2ρ/s<R,则由 θ0 开始的梯度流对所有 t≥0 存在,留在球内,并满足
∥r(θ(t))∥2≤ρe−s2t/4,∫0∞∥θ˙(t)∥2dt≤s2ρ.参数收敛至球内的 θ∞,且 F(θ∞)=y。
除 AR≤s/2 外,设 4ρ/s<R,球上 ∥J∥op≤B,而损失梯度为 H-Lipschitz,其中 H≥B2>0。若 0<η≤1/H,则全部梯度下降点留在球内、收敛至插值参数,并有
L(θk)≤(1−ηs2/4)kL(θ0),k=0∑∞∥θk+1−θk∥2≤s4ρ.可取 H=B2+A(ρ+BR),或任意更大的正界。
若 ρ=0,两种程序都已在精确拟合处静止。否则严格半径余量为包含论证提供空间。定理保证零训练损失及有限行程,没有断言参数唯一、范数最小或总体风险小。
证明思路
两个证明都从球上同一个一致 Jacobian 估计出发,再加上包含论证;离散情形还须在使用光滑性之前逐步检查。
证明
(先证明到首次离开球之前的衰减与行程,再排除离开)
对球内的 θ 及任意输出向量 v,反三角不等式给出
∥J(θ)Tv∥2≥∥J(θ0)Tv∥2−∥J(θ)−J(θ0)∥op∥v∥2≥2s∥v∥2.因此整个球上有 K⪰(s2/4)I。令 a=s/2、g=JTr。暂时只考虑梯度流仍在球内的时间;对残差求导得 r˙=−Kr,故
dtd∥r∥22=−2rTKr=−2∥g∥22≤−2a2∥r∥22.积分即得指数衰减。但残差下降尚未控制参数的移动。令 q=∥r∥2,在 q>0 处有
−q˙=q∥g∥22≥a∥g∥2=a∥θ˙∥2.这里用了 ∥g∥≥aq,积分后路径长度至多为 (ρ−q(t))/a≤2ρ/s。若残差在有限时间达到零,向量场也为零,此后静止,长度界仍然有效。
现在去掉暂时的假设。C2 使向量场局部 Lipschitz,故有唯一局部解。在任何假想的首次离开之前,长度界已把轨迹限制在半径为 2ρ/s<R 的较小闭球内,所以不可能碰到 BR 的边界。它也不能在有限时间内停止存在:较小的球是紧致的,向量场在其邻域内有界且局部 Lipschitz,有限时间处的极限可以延拓解。于是解对所有时间存在。总长度有限使参数在时间趋于无穷时成为 Cauchy 列,由完备性有极限;连续性与残差衰减给出精确插值。
证明透视
包含证明为什么必须按这个顺序
假设 AR≤s/2 只用了一次:把初始化处的行下界 s 以一半的强度传递到指定球内的每一点。此后的一切只在球内有效,所以证明不能一开始就假设轨迹留在球内。关键一步是路径长度不等式 −q˙≥a∥θ˙∥:同一个 Gram 下界既控制 ∥g∥ 相对 q 的大小,也控制流的速度,于是残差衰减转化为参数行程的界。
自洽延拓论证随后把循环闭合。衰减与行程只证明到假想的首次离开为止;严格余量 2ρ/s<R 使轨迹严格留在内部,所以离开永远不会发生。没有余量,论证会停在边界上;没有受控邻域,初始化时的满行秩什么也提供不了:下面的平方输出例子开始时 K=4,仍然无法拟合。
离散证明沿用同一计划,但每一步之前都须检查包含,因为球上的下降不等式对可能离开球的一步毫无说明。
令 qk=∥r(θk)∥、gk=∇L(θk)。用归纳法同时证明包含及部分长度界 j<k∑η∥gj∥≤2(ρ−qk)/a。若某步 qk=0,此后迭代静止,无须再证,也不必除以零。由已有长度及 ∥gk∥≤Bqk,
∥θk−θ0∥+η∥gk∥≤a2(ρ−qk)+ηBqk≤a2ρ<R.事实上 ∥J(θ0)∥≥s,故 B≥s,而 ηB≤1/B≤1/s≤2/a。球是凸的,所以从 θk 到 θk+1 的整条线段都在球内,可用局部光滑性得到 Lk+1≤Lk−η∥gk∥2/2,特别有 qk+1≤qk。整理得
qk−qk+1=qk+qk+12(Lk−Lk+1)≥2qkη∥gk∥2≥2ηa∥gk∥.这完成了部分长度的归纳。又 ∥gk∥2≥a2qk2=2a2Lk,故损失按因子 1−ηa2=1−ηs2/4 收缩。由 ηa2≤s2/(4B2)≤1/4,此因子非负。对长度界求和给出参数收敛,几何式的损失衰减则给出极限处的插值。
要验证 H,沿初始化到球内任意点的线段积分 Jacobian,得 ∥r(θ)∥≤ρ+BR。把两点处 JTr 之差拆成 Jacobian 之差乘一个残差,加上固定 Jacobian 乘残差之差,两项分别由 A(ρ+BR) 及 B2 乘参数距离控制。因此这是球内的光滑界,不需要全局光滑。
另一个 Gram 扰动检查
若直接掌握 Gram 矩阵,可写 J=J0+E,∥E∥≤e、∥J0∥≤B0。展开得 K−K0=J0ET+EJ0T+EET,算子范数至多 2B0e+e2。任意单位输出方向的二次型变化亦不超过此值。因此初始最小特征值若大于该预算,就保留正下界;此法有时比直接控制奇异值保守。
增加零列不改变 Gram 矩阵,复制列也可能只改尺度,未增加独立输出方向。真正有用的是同时控制所有残差方向的下界。一旦整个邻域有此界,流证明可直接用其平方根代替 a;但仍须建立邻域并证轨迹留在里面。
这里的正定性位于输出空间,而不是要求所有参数方向都有正曲率。当 p>n,矩阵 JTJ 必有零方向,却不妨碍行 Gram 矩阵 JJT 正定。因此要检查的是行奇异值,不能把矩形矩阵补上零奇异值后,错用参数空间的最小值来解读定理。输出维度及参数维度在证明中扮演不同角色。
这也解释了为何定理没有推出参数唯一。在精确拟合处,损失 Hessian 的残差项消失,留下 JTJ,仍可能有许多平坦参数方向。流与离散下降的路径估计只保证找到某个邻近解,不会替这些不可见方向建立额外辨识条件。把训练成功误当作参数辨识成功,是另一个应分开处理的问题。
与神经切线核的关系
本节的 Gram 条目是不同观察输出的参数梯度内积,因此连到神经切线核分析。然而,特定随机架构的初始正特征值及小 Jacobian 变化,仍需额外架构估计。Jacot、Gabriel 与 Hongler分析无穷宽度核极限,其训练极限定理有激活光滑假设;Oymak 与 Soltanolkotabi则分开光滑与非光滑最小二乘论证。本节是确定性的光滑充分定理,没有提供 ReLU 宽度阈值或随机初始化成功率。
例题详解
取 F(θ)=θ1+0.1sinθ2、y=0.01、初始零向量。有 ρ=0.01、J=(1,0.1cosθ2),可取 s=1,A=0.1,B=1.01,R=0.5。于是 AR=0.05≤0.5、4ρ/s=0.04<R。光滑界约 1.06125,所以 η=0.5 安全。第一步为 (0.005,0.0005),输出约 0.00505,残差约 −0.00495。定理保证收敛,但未声称拟合参数唯一。
令 F(θ)=(j∑θj,j∑θj),标签 (1,−1)。增加参数永远不能分开两个输出,Jacobian 行相同,Gram 奇异。若共同输出为 b,损失是 [(b−1)2+(b+1)2]/2=b2+1,最小值一。因此参数数量无法补回缺失方向,精确拟合根本不可能。
取 F(θ)=θ12、y=−1、初始第一坐标一,其余参数不使用。初始 K=4 正,但模型不能输出负值。梯度流为 θ˙1=−2θ1(θ12+1),趋向零,残差趋向一,Gram 趋零。取 s=2,A=2 时,稳定性要求 R≤1/2,流的行程条件却要求 R>2,充分假设正确地失败。初始正定不等于持续正定。
常见错误
反例模式
有表示能力仍可从零梯度起步
令 F(θ)=j∑θj2、y=1。模型有许多精确解,但在零初始化,Jacobian 与梯度均零。无论参数多少,梯度流及下降都停在损失 1/2。应验证有效初始化与稳定输出方向,而不是从容量直接推断。
光滑常数 H 只在 BR 上有效。若一步的终点可能落在球外,就不能对它套用 Lk+1≤Lk−η∥gk∥2/2,因为球外 Jacobian 的变化可能比 A 允许的更快。所以离散证明先证 ∥θk−θ0∥+η∥gk∥<R,再使用该不等式;这正是它需要较大余量 4ρ/s<R 的原因。
定理控制训练移动多远,并不决定到达哪一个插值参数。对线性模型 F(θ)=θ1+θ2、y=1、θ0=(1,−1),梯度 −(1,1)r 使流留在直线 θ0+t(1,1) 上,与 θ1+θ2=1 交于 (1.5,−0.5);最小范数解却是 (0.5,0.5)。线性最小二乘的最小范数性质需要零初始化(或初始化在行空间内),并不是有限行程的推论。
最后,拟合任意标签也包括拟合任意噪声;即使优化假设全部成立,总体准确度仍须另外分析。
总结
Jacobian 把残差转成参数梯度;稳定行奇异值下界令残差衰减;行程界则维持几何条件。连续与离散证明有不同包含余量。宽度、初始化、光滑性及数据几何须分别验证,才能把定理用到神经架构。
练习
快速检查
(证明 K=JJT⪰a2I 等价于每个输出向量 v 都满足 ∥JTv∥≥a∥v∥。)
解答 · 答案
每个 v 都有 vTKv=vTJJTv=∥JTv∥2。因此“对所有 v 有 vTKv≥a2∥v∥2”正是范数平方不等式;两边非负,取平方根即得等价。
快速检查
(取 s=2、ρ=0.1、R=0.5、A=1,检查两个半径条件,并给出流的残差速率与离散总长度界。)
解答 · 答案
AR=0.5≤s/2=1、2ρ/s=0.1<R、4ρ/s=0.2<R。由于 s2/4=1,流残差至多为 0.1e−t。在另外满足光滑与步长假设后,离散总长度至多为 0.2;半径条件本身并不决定安全步长。
快速检查
(若损失除以 n,梯度流的时间尺度及安全离散步长如何改变?)
解答 · 答案
梯度也除以 n,所以新流在时间 t 等于原流在时间 t/n,单位时间内的衰减慢同一因子。平均损失用步长 nη,其更新等同于总和损失用 η;梯度的 Lipschitz 常数也除以 n,所以安全范围变为 0<η≤n/H。
快速检查
(在 y=−1 的平方输出例子中,为什么增加任意多未使用的参数,既不改变插值可行性,也不改变稳定条件的失败?)
解答 · 答案
可达输出仍为 [0,∞),不能等于 −1。Jacobian 只是增加零列,初始奇异值 2 及 Lipschitz 常数 2 都不变。因此互相矛盾的 R≤1/2 与 R>2 仍然存在:额外坐标没有改变像集或相关的局部几何。