動機
非線性模型即使參數遠多於觀察預測,也可能難以訓練。參數個數只描述向量長度;成功擬合要求模型能按殘差所需的方向改變觀察輸出。Jacobian 正好量度這個局部能力。其行 Gram 矩陣正定,表示每個非零輸出殘差方向都會產生非零參數梯度。
初始化時正定只是一個起點。訓練過程若使 Jacobian 改變太多,原來可用的方向就可能消失。因此完整論證需要兩個相連估計:一個保持有效幾何的鄰域,以及一個保證軌跡不會離開該鄰域的路徑長度界。若只證明其中一個,卻把另一個沿整條軌跡當作假設,便留下循環。
以下給出二次連續可微模型的確定性充分條件,再處理離散梯度下降。只有在實際模型驗證數值條件後才可應用,不能從寬度自行推出。因此它不是所有隨機初始化神經切線核定理的證明,經典光滑假設也不能未經額外分析便套到不可微 ReLU。
定義
定義 7.1.1
(殘差、輸出 Jacobian 與局部穩定性)
設 F:U⊂Rp→Rn 在開集上為 C2,固定標籤 y∈Rn。採用未平均的最小二乘損失
L(θ)=21∥F(θ)−y∥22,r(θ)=F(θ)−y,J(θ)=DF(θ),K(θ)=J(θ)J(θ)T.Jacobian 有 n 行、p 列。初始化為 θ0,記 ρ=∥r(θ0)∥2。正行奇異值下界 s 表示每個 v∈Rn 都有 ∥J(θ0)Tv∥2≥s∥v∥2。
這要求 p≥n,反向卻不成立。條件關乎特定觀察模型的行秩及條件,並非只有維度。向量用歐幾里得(Euclid)範數,矩陣用算子範數。設以初始化為中心的閉球 BR 包含在 U,Jacobian 在球上為 A-Lipschitz;局部線性情況容許 A=0。
梯度流是 θ˙=−∇L=−JTr,離散下降是 θk+1=θk−η∇L(θk)。損失用總和而非平均,所以方程沒有隱藏的 1/n。平均損失會相應改變時間尺度及容許步長。
概念視角分析
從輸出空間看訓練
沿梯度流,殘差滿足 r˙=Jθ˙=−K(θ)r,這是輸出空間中的線性方程組,只是矩陣隨 θ 改變。對線性模型 F(θ)=Jθ,矩陣是常數,r(t)=e−tKr(θ0):沿 K 的特徵值 μ 對應的特徵向量的分量按 e−μt 衰減,零特徵值的分量則完全不變。非線性定理只保留球上一致的下界 K⪰(s2/4)I,所以速率是 e−s2t/4。
定理/命題
定理 7.1.2
(穩定 Jacobian 令梯度流留在擬合區域)
若 s>0、AR≤s/2,且 2ρ/s<R,則由 θ0 開始的梯度流對所有 t≥0 存在,留在球內,並滿足
∥r(θ(t))∥2≤ρe−s2t/4,∫0∞∥θ˙(t)∥2dt≤s2ρ.參數收斂至球內的 θ∞,且 F(θ∞)=y。
除 AR≤s/2 外,設 4ρ/s<R,球上 ∥J∥op≤B,而損失梯度為 H-Lipschitz,其中 H≥B2>0。若 0<η≤1/H,則全部梯度下降點留在球內、收斂至插值參數,並有
L(θk)≤(1−ηs2/4)kL(θ0),k=0∑∞∥θk+1−θk∥2≤s4ρ.可取 H=B2+A(ρ+BR),或任意更大的正界。
若 ρ=0,兩種程序都已在精確擬合處靜止。否則嚴格半徑餘量為包含論證提供空間。定理保證零訓練損失及有限行程,沒有斷言參數唯一、範數最小或總體風險小。
證明思路
兩個證明都從球上同一個一致 Jacobian 估計出發,再加上包含論證;離散情況還須在使用光滑性之前逐步檢查。
證明
(先證明至首次離球前的衰減與行程,再排除離球)
對球內的 θ 及任意輸出向量 v,反三角不等式給
∥J(θ)Tv∥2≥∥J(θ0)Tv∥2−∥J(θ)−J(θ0)∥op∥v∥2≥2s∥v∥2.因此整球有 K⪰(s2/4)I。令 a=s/2、g=JTr。暫時只考慮梯度流仍在球內的時間;微分殘差得 r˙=−Kr,故
dtd∥r∥22=−2rTKr=−2∥g∥22≤−2a2∥r∥22.積分即得指數衰減。但殘差下降尚未控制參數移動。令 q=∥r∥2,在 q>0 處有
−q˙=q∥g∥22≥a∥g∥2=a∥θ˙∥2.這用了 ∥g∥≥aq,積分後路徑長度至多 (ρ−q(t))/a≤2ρ/s。若殘差在有限時間達零,向量場也為零,往後靜止,長度界仍有效。
現在解除暫時假設。C2 令向量場局部 Lipschitz,故有唯一局部解。在任何假想首次離球前,長度界已把軌跡限制於半徑 2ρ/s<R 的較小閉球,所以不可能碰到 BR 的邊界。它也不能在有限時間停止存在:較小球緊緻,向量場在其鄰域有界且局部 Lipschitz,有限時間極限可延伸。於是解對所有時間存在。總長度有限令參數在無窮時間為 Cauchy,由完備性有極限;連續性與殘差衰減給出精確插值。
證明透視
包含證明為甚麼必須按這個次序
假設 AR≤s/2 只用一次:把初始化的行下界 s 以一半強度傳到指定球內每一點。之後的一切只在球內有效,所以證明不能一開始就假設軌跡留在球內。關鍵一步是路徑長度不等式 −q˙≥a∥θ˙∥:同一個 Gram 下界既控制 ∥g∥ 相對 q 的大小,也控制流的速度,於是殘差衰減轉化為參數行程的界。
自洽延伸論證隨後把循環閉合。衰減與行程只證明到假想的首次離球為止;嚴格餘量 2ρ/s<R 令軌跡嚴格留在內部,所以離球永不發生。沒有餘量,論證會停在邊界;沒有受控鄰域,初始化滿行秩甚麼也不提供:下面的平方輸出例子起初 K=4,仍然無法擬合。
離散證明沿用同一計劃,但每一步之前都須檢查包含,因為球上的下降不等式對可能離開球的一步毫無說明。
令 qk=∥r(θk)∥、gk=∇L(θk)。歸納同時證明包含及部分長度界 j<k∑η∥gj∥≤2(ρ−qk)/a。若某步 qk=0,之後迭代靜止,無須再證,也不必除以零。由既有長度及 ∥gk∥≤Bqk,
∥θk−θ0∥+η∥gk∥≤a2(ρ−qk)+ηBqk≤a2ρ<R.事實上 ∥J(θ0)∥≥s,故 B≥s,而 ηB≤1/B≤1/s≤2/a。球凸,所以由 θk 至 θk+1 的整段在球內,可用局部光滑性得到 Lk+1≤Lk−η∥gk∥2/2,特別有 qk+1≤qk。整理得
qk−qk+1=qk+qk+12(Lk−Lk+1)≥2qkη∥gk∥2≥2ηa∥gk∥.這完成部分長度歸納。又 ∥gk∥2≥a2qk2=2a2Lk,故損失按 1−ηa2=1−ηs2/4 收縮。由 ηa2≤s2/(4B2)≤1/4,此因子非負。加總長度界給參數收斂,幾何損失衰減則給極限插值。
要驗證 H,沿初始化至球內任意點積分 Jacobian,得 ∥r(θ)∥≤ρ+BR。把兩點的 JTr 之差拆成 Jacobian 差乘一個殘差,加固定 Jacobian 乘殘差差,兩項分別由 A(ρ+BR) 及 B2 乘參數距離控制。因此這是球內光滑界,不需要全域光滑。
另一個 Gram 擾動檢查
若直接掌握 Gram 矩陣,可寫 J=J0+E,∥E∥≤e、∥J0∥≤B0。展開得 K−K0=J0ET+EJ0T+EET,算子範數至多 2B0e+e2。任意單位輸出方向的二次型變化亦不超過此值。因此初始最小特徵值若大於該預算,就保留正下界;此法有時比直接控制奇異值保守。
增加零列不改變 Gram 矩陣,複製列也可能只改尺度,未增加獨立輸出方向。真正有用的是同時控制所有殘差方向的下界。一旦整個鄰域有此界,流證明可直接用其平方根代替 a;但仍須建立鄰域並證軌跡留在裏面。
這裏的正定性位於輸出空間,而不是要求所有參數方向都有正曲率。當 p>n,矩陣 JTJ 必有零方向,卻不妨礙行 Gram 矩陣 JJT 正定。因此要檢查的是行奇異值,不能把矩形矩陣補上零奇異值後,錯用參數空間的最小值來解讀定理。輸出維度及參數維度在證明中扮演不同角色。
這也解釋了為何定理沒有推出參數唯一。在精確擬合處,損失 Hessian 的殘差項消失,留下 JTJ,仍可能有許多平坦參數方向。流與離散下降的路徑估計只保證找到某個鄰近解,不會替這些不可見方向建立額外辨識條件。把訓練成功誤當作參數辨識成功,是另一個應分開處理的問題。
與神經切線核的關係
本節的 Gram 條目是不同觀察輸出的參數梯度內積,因此連到神經切線核分析。然而,特定隨機架構的初始正特徵值及小 Jacobian 變化,仍需額外架構估計。Jacot、Gabriel 與 Hongler分析無窮寬度核極限,其訓練極限定理有激活光滑假設;Oymak 與 Soltanolkotabi則分開光滑與非光滑最小二乘論證。本節是確定性的光滑充分定理,沒有提供 ReLU 寬度閾值或隨機初始化成功率。
例題詳解
取 F(θ)=θ1+0.1sinθ2、y=0.01、初始零向量。有 ρ=0.01、J=(1,0.1cosθ2),可取 s=1,A=0.1,B=1.01,R=0.5。於是 AR=0.05≤0.5、4ρ/s=0.04<R。光滑界約 1.06125,所以 η=0.5 安全。第一步為 (0.005,0.0005),輸出約 0.00505,殘差約 −0.00495。定理保證收斂,但未聲稱擬合參數唯一。
令 F(θ)=(j∑θj,j∑θj),標籤 (1,−1)。增加參數永遠不能分開兩個輸出,Jacobian 行相同,Gram 奇異。若共同輸出為 b,損失是 [(b−1)2+(b+1)2]/2=b2+1,最小值一。因此參數數量無法補回缺失方向,精確擬合根本不可能。
取 F(θ)=θ12、y=−1、初始第一座標一,其餘參數不使用。初始 K=4 正,但模型不能輸出負值。梯度流為 θ˙1=−2θ1(θ12+1),趨向零,殘差趨向一,Gram 趨零。取 s=2,A=2 時,穩定性要求 R≤1/2,流的行程條件卻要求 R>2,充分假設正確地失敗。初始正定不等於持續正定。
常見錯誤
反例模式
有表示能力仍可從零梯度起步
令 F(θ)=j∑θj2、y=1。模型有許多精確解,但在零初始化,Jacobian 與梯度均零。無論參數多少,梯度流及下降都停在損失 1/2。應驗證有效初始化與穩定輸出方向,而不是從容量直接推斷。
光滑常數 H 只在 BR 上有效。若一步的終點可能落在球外,便不能對它套用 Lk+1≤Lk−η∥gk∥2/2,因為球外 Jacobian 的變化可能比 A 容許的快。所以離散證明先證 ∥θk−θ0∥+η∥gk∥<R,才使用該不等式;這正是它需要較大餘量 4ρ/s<R 的原因。
定理控制訓練移動多遠,並不決定到達哪一個插值參數。對線性模型 F(θ)=θ1+θ2、y=1、θ0=(1,−1),梯度 −(1,1)r 令流留在直線 θ0+t(1,1) 上,與 θ1+θ2=1 交於 (1.5,−0.5);最小範數解卻是 (0.5,0.5)。線性最小二乘的最小範數性質需要零初始化(或初始化在行空間內),不是有限行程的推論。
最後,擬合任意標籤也包括擬合任意雜訊;最優化假設全部成立後,總體準確度仍須另外分析。
總結
Jacobian 把殘差轉成參數梯度;穩定行奇異值下界令殘差衰減;行程界則維持幾何條件。連續與離散證明有不同包含餘量。寬度、初始化、光滑性及數據幾何須分別驗證,才能把定理用到神經架構。
練習
快速檢查
(證明 K=JJT⪰a2I 等價於每個輸出向量 v 都滿足 ∥JTv∥≥a∥v∥。)
解答 · 答案
每個 v 都有 vTKv=vTJJTv=∥JTv∥2。因此「對所有 v 有 vTKv≥a2∥v∥2」正是範數平方不等式;兩邊非負,取平方根即得等價。
快速檢查
(取 s=2、ρ=0.1、R=0.5、A=1,檢查兩個半徑條件,並給出流的殘差速率與離散總長度界。)
解答 · 答案
AR=0.5≤s/2=1、2ρ/s=0.1<R、4ρ/s=0.2<R。由於 s2/4=1,流殘差至多 0.1e−t。另滿足光滑與步長假設後,離散總長度至多 0.2;半徑條件本身未決定安全步長。
快速檢查
(若損失除以 n,梯度流的時間尺度及安全離散步長如何改變?)
解答 · 答案
梯度亦除以 n,所以新流在時間 t 等於原流在時間 t/n,每單位時間的衰減慢同一因子。平均損失用步長 nη,更新等同總和損失用 η;梯度 Lipschitz 常數也除以 n,所以安全範圍變成 0<η≤n/H。
快速檢查
(在 y=−1 的平方輸出例子中,為甚麼增加任意多未使用參數,既不改變插值可行性,也不改變穩定條件的失敗?)
解答 · 答案
可達輸出仍為 [0,∞),不能等於 −1。Jacobian 只增加零列,初始奇異值 2 及 Lipschitz 常數 2 都不變。因此互相矛盾的 R≤1/2 與 R>2 仍在:額外座標沒有改變像集或相關局部幾何。