二元邏輯迴歸用一個線性分數來描述 P ( Y = 1 ∣ x ) P(Y=1\mid x) P ( Y = 1 ∣ x ) 。若分類問題有 K ≥ 2 K\ge 2 K ≥ 2 個沒有次序的類別,softmax 迴歸便為每一類設定一個線性分數,再把整組分數轉成概率向量。本節會推導似然、交叉熵、梯度和 Hessian,說明如何穩定計算,並研究共同平移造成的不可識別性、極小值的存在性,以及由概率走到分類評估的步驟。
模型與似然
固定 K ≥ 2 K\ge 2 K ≥ 2 個類別及觀察值 ( x i , y i ) (x_i,y_i) ( x i , y i ) ,其中 i = 1 , … , n i=1,\dots,n i = 1 , … , n 、n ≥ 1 n\ge 1 n ≥ 1 、x i ∈ R d x_i\in\mathbb R^d x i ∈ R d 、y i ∈ { 1 , … , K } y_i\in\{1,\dots,K\} y i ∈ { 1 , … , K } 。把特徵向量以行 x i T x_i^{\mathsf T} x i T 排成設計矩陣 X ∈ R n × d X\in\mathbb R^{n\times d} X ∈ R n × d 。參數矩陣 W = ( w 1 , … , w K ) ∈ R d × K W=(w_1,\dots,w_K)\in\mathbb R^{d\times K} W = ( w 1 , … , w K ) ∈ R d × K 的每一列對應一個類別;分數為
s i k = x i T w k , S = X W ∈ R n × K . s_{ik}=x_i^{\mathsf T}w_k,\qquad S=XW\in\mathbb R^{n\times K}. s ik = x i T w k , S = X W ∈ R n × K .
給定第 i i i 行的分數 s i 1 , … , s i K s_{i1},\dots,s_{iK} s i 1 , … , s i K ,softmax 概率 為
p i k = exp ( s i k ) ∑ j = 1 K exp ( s i j ) , k = 1 , … , K . p_{ik}=\frac{\exp(s_{ik})}{\sum_{j=1}^K\exp(s_{ij})},\qquad k=1,\dots,K. p ik = ∑ j = 1 K exp ( s ij ) exp ( s ik ) , k = 1 , … , K .
指數函數恆為正,所以 p i k > 0 p_{ik}>0 p ik > 0 ;各分子之和等於分母,因此 ∑ k p i k = 1 \sum\limits_k p_{ik}=1 k ∑ p ik = 1 。由於 K ≥ 2 K\ge2 K ≥ 2 ,其他類別的概率也為正,故任何有限的 W W W 都給出 0 < p i k < 1 0\lt p_{ik}\lt1 0 < p ik < 1 。
模型假設給定特徵後,Y 1 , … , Y n Y_1,\dots,Y_n Y 1 , … , Y n 條件獨立,且 P ( Y i = k ∣ x i ) = p i k P(Y_i=k\mid x_i)=p_{ik} P ( Y i = k ∣ x i ) = p ik 。條件似然為 ∏ i p i , y i \prod\limits_i p_{i,y_i} i ∏ p i , y i ;以下面的記號,log p i , y i = s i , y i − LSE ( s i ) \log p_{i,y_i}=s_{i,y_i}-\operatorname{LSE}(s_i) log p i , y i = s i , y i − LSE ( s i ) 。
定義 5.3.2
(log-sum-exp 與平均負對數似然)
對 s ∈ R K s\in\mathbb R^K s ∈ R K ,記 LSE ( s ) = log ∑ j exp ( s j ) \operatorname{LSE}(s)=\log\sum\limits_j\exp(s_j) LSE ( s ) = log j ∑ exp ( s j ) 。W W W 的平均負對數似然 為
L ( W ) = 1 n ∑ i = 1 n [ log ∑ j = 1 K exp ( s i j ) − s i , y i ] . L(W)=\frac1n\sum_{i=1}^n\Big[\log\sum_{j=1}^K\exp(s_{ij})-s_{i,y_i}\Big]. L ( W ) = n 1 i = 1 ∑ n [ log j = 1 ∑ K exp ( s ij ) − s i , y i ] .
交叉熵 這名稱來自以下等式。把標籤編碼成獨熱向量 q i = e y i q_i=e_{y_i} q i = e y i ,則 p i p_i p i 相對於 q i q_i q i 的交叉熵為 − ∑ k q i k log p i k = − log p i , y i -\sum\limits_k q_{ik}\log p_{ik}=-\log p_{i,y_i} − k ∑ q ik log p ik = − log p i , y i ,正是上式第 i i i 項。由於 p i , y i < 1 p_{i,y_i}\lt1 p i , y i < 1 ,每一項都嚴格為正,因此有限 W W W 必有 L ( W ) > 0 L(W)>0 L ( W ) > 0 。這一點在討論極小值是否存在時很重要。
梯度與 Hessian
對每個類別 k k k ,
∇ w k L ( W ) = 1 n ∑ i = 1 n ( p i k − 1 { y i = k } ) x i , \nabla_{w_k}L(W)=\frac1n\sum_{i=1}^n\big(p_{ik}-\mathbf 1\{y_i=k\}\big)x_i, ∇ w k L ( W ) = n 1 i = 1 ∑ n ( p ik − 1 { y i = k } ) x i , 亦即 ∇ L ( W ) = n − 1 X T ( P − Y ) \nabla L(W)=n^{-1}X^{\mathsf T}(P-Y) ∇ L ( W ) = n − 1 X T ( P − Y ) ,其中 P = ( p i k ) P=(p_{ik}) P = ( p ik ) ,而 Y Y Y 是 n × K n\times K n × K 的獨熱標籤矩陣。取方向 Δ = ( δ w 1 , … , δ w K ) \Delta=(\delta w_1,\dots,\delta w_K) Δ = ( δ w 1 , … , δ w K ) ,令 u i k = x i T δ w k u_{ik}=x_i^{\mathsf T}\delta w_k u ik = x i T δ w k ,則
d 2 d t 2 L ( W + t Δ ) ∣ t = 0 = 1 n ∑ i = 1 n [ ∑ k p i k u i k 2 − ( ∑ k p i k u i k ) 2 ] ≥ 0. \frac{d^2}{dt^2}L(W+t\Delta)\Big|_{t=0}=\frac1n\sum_{i=1}^n\Big[\sum_k p_{ik}u_{ik}^2-\Big(\sum_k p_{ik}u_{ik}\Big)^2\Big]\ \ge 0 . d t 2 d 2 L ( W + t Δ ) t = 0 = n 1 i = 1 ∑ n [ k ∑ p ik u ik 2 − ( k ∑ p ik u ik ) 2 ] ≥ 0. 因此 L L L 在 R d × K \mathbb R^{d\times K} R d × K 上是凸函數。
固定第 i i i 行。沿著 W + t Δ W+t\Delta W + t Δ ,分數變成 s i k + t u i k s_{ik}+tu_{ik} s ik + t u ik 。定義
g ( t ) = LSE ( s i + t u i ) − ( s i , y i + t u i , y i ) , g(t)=\operatorname{LSE}(s_i+tu_i)-(s_{i,y_i}+tu_{i,y_i}), g ( t ) = LSE ( s i + t u i ) − ( s i , y i + t u i , y i ) , 並令 p i k ( t ) p_{ik}(t) p ik ( t ) 為變動分數的 softmax。對總和的對數微分,得 g ′ ( t ) = ∑ k p i k ( t ) u i k − u i , y i g'(t)=\sum\limits_k p_{ik}(t)u_{ik}-u_{i,y_i} g ′ ( t ) = k ∑ p ik ( t ) u ik − u i , y i 。
商數法則給出
d d t p i k ( t ) = p i k ( t ) ( u i k − ∑ j p i j ( t ) u i j ) . \frac{d}{dt}p_{ik}(t)=p_{ik}(t)\Big(u_{ik}-\sum_j p_{ij}(t)u_{ij}\Big). d t d p ik ( t ) = p ik ( t ) ( u ik − j ∑ p ij ( t ) u ij ) . 所以
g ′ ′ ( t ) = ∑ k p i k ( t ) u i k 2 − ( ∑ k p i k ( t ) u i k ) 2 . g''(t)=\sum_k p_{ik}(t)u_{ik}^2-\Big(\sum_k p_{ik}(t)u_{ik}\Big)^2. g ′′ ( t ) = k ∑ p ik ( t ) u ik 2 − ( k ∑ p ik ( t ) u ik ) 2 . 線性項 s i , y i + t u i , y i s_{i,y_i}+tu_{i,y_i} s i , y i + t u i , y i 對二階導數沒有貢獻。
在 t = 0 t=0 t = 0 ,g ′ ( 0 ) = ∑ k ( p i k − 1 { y i = k } ) x i T δ w k g'(0)=\sum\limits_k(p_{ik}-\mathbf 1\{y_i=k\})\,x_i^{\mathsf T}\delta w_k g ′ ( 0 ) = k ∑ ( p ik − 1 { y i = k }) x i T δ w k 。這是 Δ \Delta Δ 與一個矩陣的內積,該矩陣第 k k k 列為 ( p i k − 1 { y i = k } ) x i (p_{ik}-\mathbf 1\{y_i=k\})x_i ( p ik − 1 { y i = k }) x i ,故它是第 i i i 項的梯度。對 i i i 取平均便得到兩個梯度公式。
令 u ˉ i = ∑ k p i k u i k \bar u_i=\sum\limits_k p_{ik}u_{ik} u ˉ i = k ∑ p ik u ik 。展開平方可得
∑ k p i k ( u i k − u ˉ i ) 2 = ∑ k p i k u i k 2 − u ˉ i 2 . \sum_k p_{ik}(u_{ik}-\bar u_i)^2=\sum_k p_{ik}u_{ik}^2-\bar u_i^2. k ∑ p ik ( u ik − u ˉ i ) 2 = k ∑ p ik u ik 2 − u ˉ i 2 . 因此每個方括號都是以 p i k p_{ik} p ik 為概率權重的 u i k u_{ik} u ik 的方差,必非負。二次連續可微函數若沿每條直線的二階導數均非負,便在每條直線上凸,因而是凸函數。
梯度有兩個值得留意的性質。第一,它是按殘差加權的和:若某類的預測概率低於觀察指示值,更新會把該類參數推向相應的特徵向量。第二,∑ k ∇ w k L = n − 1 ∑ i ( ∑ k p i k − 1 ) x i = 0 \sum\limits_k\nabla_{w_k}L=n^{-1}\sum\limits_i(\sum\limits_kp_{ik}-1)x_i=0 k ∑ ∇ w k L = n − 1 i ∑ ( k ∑ p ik − 1 ) x i = 0 。共同平移與規範選擇一節會看到,這個零和反映模型的對稱性。
令 d = 2 d=2 d = 2 、K = 3 K=3 K = 3 ,取 x 1 = ( 1 , 2 ) T x_1=(1,2)^{\mathsf T} x 1 = ( 1 , 2 ) T 、y 1 = 3 y_1=3 y 1 = 3 ,以及 x 2 = ( 1 , 0 ) T x_2=(1,0)^{\mathsf T} x 2 = ( 1 , 0 ) T 、y 2 = 1 y_2=1 y 2 = 1 。參數列為 w 1 = ( 0 , 1 2 log 3 2 ) T w_1=(0,\tfrac12\log\tfrac32)^{\mathsf T} w 1 = ( 0 , 2 1 log 2 3 ) T 、w 2 = ( 0 , 1 2 log 1 2 ) T w_2=(0,\tfrac12\log\tfrac12)^{\mathsf T} w 2 = ( 0 , 2 1 log 2 1 ) T 、w 3 = ( log 2 , − 1 2 log 2 ) T w_3=(\log2,-\tfrac12\log2)^{\mathsf T} w 3 = ( log 2 , − 2 1 log 2 ) T 。計算概率、L L L 、各類梯度及預測。
分數為 s 1 = ( log 3 2 , log 1 2 , 0 ) s_1=(\log\tfrac32,\,\log\tfrac12,\,0) s 1 = ( log 2 3 , log 2 1 , 0 ) 、s 2 = ( 0 , 0 , log 2 ) s_2=(0,0,\log2) s 2 = ( 0 , 0 , log 2 ) 。
第 1 行指數值為 ( 3 / 2 , 1 / 2 , 1 ) (3/2,\,1/2,\,1) ( 3/2 , 1/2 , 1 ) ,和為 3 3 3 ,故 p 1 = ( 1 / 2 , 1 / 6 , 1 / 3 ) p_1=(1/2,\,1/6,\,1/3) p 1 = ( 1/2 , 1/6 , 1/3 ) ;損失為 log 3 \log3 log 3 ,殘差向量 p 1 − e 3 = ( 1 / 2 , 1 / 6 , − 2 / 3 ) p_1-e_3=(1/2,\,1/6,\,-2/3) p 1 − e 3 = ( 1/2 , 1/6 , − 2/3 ) 。
第 2 行指數值為 ( 1 , 1 , 2 ) (1,1,2) ( 1 , 1 , 2 ) ,和為 4 4 4 ,故 p 2 = ( 1 / 4 , 1 / 4 , 1 / 2 ) p_2=(1/4,\,1/4,\,1/2) p 2 = ( 1/4 , 1/4 , 1/2 ) ;損失為 log 4 \log4 log 4 ,殘差向量 p 2 − e 1 = ( − 3 / 4 , 1 / 4 , 1 / 2 ) p_2-e_1=(-3/4,\,1/4,\,1/2) p 2 − e 1 = ( − 3/4 , 1/4 , 1/2 ) 。
平均損失 L = 1 2 ( log 3 + log 4 ) = 1 2 log 12 L=\tfrac12(\log3+\log4)=\tfrac12\log12 L = 2 1 ( log 3 + log 4 ) = 2 1 log 12 。
令 r i k r_{ik} r ik 為第 i i i 行殘差向量的第 k k k 項,則各類梯度為 1 2 [ r 1 k x 1 + r 2 k x 2 ] \tfrac12[r_{1k}x_1+r_{2k}x_2] 2 1 [ r 1 k x 1 + r 2 k x 2 ] :
∇ w 1 L = 1 2 ( − 1 4 , 1 ) = ( − 1 8 , 1 2 ) \nabla_{w_1}L=\tfrac12(-\tfrac14,\,1)=(-\tfrac18,\,\tfrac12) ∇ w 1 L = 2 1 ( − 4 1 , 1 ) = ( − 8 1 , 2 1 ) ;
∇ w 2 L = 1 2 ( 5 12 , 1 3 ) = ( 5 24 , 1 6 ) \nabla_{w_2}L=\tfrac12(\tfrac5{12},\,\tfrac13)=(\tfrac5{24},\,\tfrac16) ∇ w 2 L = 2 1 ( 12 5 , 3 1 ) = ( 24 5 , 6 1 ) ;
∇ w 3 L = 1 2 ( − 1 6 , − 4 3 ) = ( − 1 12 , − 2 3 ) \nabla_{w_3}L=\tfrac12(-\tfrac16,\,-\tfrac43)=(-\tfrac1{12},\,-\tfrac23) ∇ w 3 L = 2 1 ( − 6 1 , − 3 4 ) = ( − 12 1 , − 3 2 ) 。
梯度之和為 ( 0 , 0 ) (0,0) ( 0 , 0 ) ,與上文的說明一致。第 1 行最大概率屬類別 1,標籤卻是 3;第 2 行最大概率屬類別 3,標籤卻是 1。訓練準確率為 0 0 0 。
穩定計算 log-sum-exp
定理 5.3.5
(以最大值平移 log-sum-exp)
對 s ∈ R K s\in\mathbb R^K s ∈ R K ,令 m = max j s j m=\max\limits_j s_j m = j max s j ,則
LSE ( s ) = m + log ∑ j exp ( s j − m ) , 1 ≤ ∑ j exp ( s j − m ) ≤ K , \operatorname{LSE}(s)=m+\log\sum_{j}\exp(s_j-m),\qquad 1\le\sum_j\exp(s_j-m)\le K, LSE ( s ) = m + log j ∑ exp ( s j − m ) , 1 ≤ j ∑ exp ( s j − m ) ≤ K , 以及 log p k = s k − m − log ∑ j exp ( s j − m ) \log p_k=s_k-m-\log\sum\limits_j\exp(s_j-m) log p k = s k − m − log j ∑ exp ( s j − m ) 。
把 e m e^m e m 從和中提出:∑ j e s j = e m ∑ j e s j − m \sum\limits_j e^{s_j}=e^m\sum\limits_j e^{s_j-m} j ∑ e s j = e m j ∑ e s j − m 。取對數即得第一個等式。
每個指數 s j − m s_j-m s j − m 均不大於 0 0 0 ,所以每項至多為 1 1 1 ,總和至多為 K K K 。至少一個指標達到最大值,其項為 e 0 = 1 e^0=1 e 0 = 1 ,所以總和至少為 1 1 1 。把第一個等式代入 log p k = s k − LSE ( s ) \log p_k=s_k-\operatorname{LSE}(s) log p k = s k − LSE ( s ) 即得對數概率公式。
這個改寫避免了對很大的正分數取指數時的溢出,卻不會令浮點運算變成精確運算。十分負的平移後指數仍可能下溢至零;總和仍保留一個等於 1 1 1 的項,但極小的貢獻可能流失並影響捨入;即使相減的分數均為有限值,極端情況下相減仍可能溢出。捨入誤差仍然存在:分數絕對值很大時,s i , y i − LSE ( s i ) s_{i,y_i}-\operatorname{LSE}(s_i) s i , y i − LSE ( s i ) 可能因相消而損失相對精度。這裏的穩定性是避免不必要的浮點失效,並不保證特定精度或運行時間。
概念視角 分析
log-sum-exp 是平滑的最大值 定理中的界說明 max j s j ≤ LSE ( s ) ≤ max j s j + log K \max\limits_js_j\le\operatorname{LSE}(s)\le\max\limits_js_j+\log K j max s j ≤ LSE ( s ) ≤ j max s j + log K ,而 LSE \operatorname{LSE} LSE 的梯度正是 softmax 向量 p p p 。所以 LSE \operatorname{LSE} LSE 是最大值的一個凸而可微的替代品,每個損失項都滿足
max j s i j − s i , y i ≤ LSE ( s i ) − s i , y i ≤ max j s i j − s i , y i + log K . \max_js_{ij}-s_{i,y_i}\le\operatorname{LSE}(s_i)-s_{i,y_i}\le\max_js_{ij}-s_{i,y_i}+\log K. j max s ij − s i , y i ≤ LSE ( s i ) − s i , y i ≤ j max s ij − s i , y i + log K . 在相差不超過 log K \log K log K 的意義下,損失就是最大分數超出真實類別分數的量。準確地說,它等於 log ( 1 + ∑ k ≠ y i e s i k − s i , y i ) \log\bigl(1+\sum\limits_{k\ne y_i}e^{s_{ik}-s_{i,y_i}}\bigr) log ( 1 + k = y i ∑ e s ik − s i , y i ) ,只有當其他每個分數都無限落後時才趨於零。
以比值計算的概率可能捨入成 0 0 0 ,再取對數便得到 − ∞ -\infty − ∞ ,儘管精確損失是有限的。應直接使用定理中的公式 log p k = s k − m − log ∑ j exp ( s j − m ) \log p_k=s_k-m-\log\sum\limits_j\exp(s_j-m) log p k = s k − m − log j ∑ exp ( s j − m ) 計算對數概率,而不是對算出的概率取對數。
例題 5.3.6
(分數 ( log 2 , 0 , log 3 ) (\log 2,0,\log 3) ( log 2 , 0 , log 3 ) )
指數值為 ( 2 , 1 , 3 ) (2,1,3) ( 2 , 1 , 3 ) ,和為 6 6 6 ,故概率 p = ( 1 / 3 , 1 / 6 , 1 / 2 ) p=(1/3,\,1/6,\,1/2) p = ( 1/3 , 1/6 , 1/2 ) 。
若標籤 y = 2 y=2 y = 2 ,損失為 LSE ( s ) − s 2 = log 6 − 0 = log 6 \operatorname{LSE}(s)-s_2=\log6-0=\log6 LSE ( s ) − s 2 = log 6 − 0 = log 6 ,等於 − log ( 1 / 6 ) -\log(1/6) − log ( 1/6 ) 。對分數的梯度為 p − e 2 = ( 1 / 3 , − 5 / 6 , 1 / 2 ) p-e_2=(1/3,\,-5/6,\,1/2) p − e 2 = ( 1/3 , − 5/6 , 1/2 ) ,各項和為零。
穩定算法給出同一結果:m = log 3 m=\log3 m = log 3 ,平移後分數為 ( log 2 3 , − log 3 , 0 ) (\log\tfrac23,\,-\log3,\,0) ( log 3 2 , − log 3 , 0 ) ,指數值 ( 2 / 3 , 1 / 3 , 1 ) (2/3,\,1/3,\,1) ( 2/3 , 1/3 , 1 ) 的和為 2 2 2 ,因此 LSE = log 3 + log 2 = log 6 \operatorname{LSE}=\log3+\log2=\log6 LSE = log 3 + log 2 = log 6 。
若三個分數同加常數 c c c ,所有指數值同乘 e c e^c e c ,概率不變;損失變成 ( log 6 + c ) − ( 0 + c ) = log 6 (\log6+c)-(0+c)=\log6 ( log 6 + c ) − ( 0 + c ) = log 6 ,也不變。若這行對應大小為 n n n 的數據集中特徵 x x x ,它對 ∇ w k L \nabla_{w_k}L ∇ w k L 的貢獻為 n − 1 ( p k − 1 { k = 2 } ) x n^{-1}(p_k-\mathbf 1\{k=2\})x n − 1 ( p k − 1 { k = 2 }) x 。
快速檢查
(在不溢出的情況下,計算 LSE ( 1000 , 999 , 0 ) \operatorname{LSE}(1000,\,999,\,0) LSE ( 1000 , 999 , 0 ) 至小數點後四位。)
解答 · 答案 此處 m = 1000 m=1000 m = 1000 ,平移後的指數值為 ( 1 , e − 1 , e − 1000 ) (1,\,e^{-1},\,e^{-1000}) ( 1 , e − 1 , e − 1000 ) 。最後一項下溢為 0 0 0 ,可以忽略,所以和為 1 + e − 1 ≈ 1.36788 1+e^{-1}\approx1.36788 1 + e − 1 ≈ 1.36788 。因此 LSE ≈ 1000 + log 1.36788 ≈ 1000.3133 \operatorname{LSE}\approx1000+\log1.36788\approx1000.3133 LSE ≈ 1000 + log 1.36788 ≈ 1000.3133 。直接計算 e 1000 e^{1000} e 1000 會溢出。
共同平移與規範選擇
若存在 a ∈ R d a\in\mathbb R^d a ∈ R d 使 W ′ = W + a 1 K T W'=W+a\mathbf 1_K^{\mathsf T} W ′ = W + a 1 K T ,即每一列都加上同一向量,稱參數矩陣 W W W 與 W ′ W' W ′ 等價 。參考類別規範 是條件 w K = 0 w_K=0 w K = 0 ;零和規範 是條件 ∑ k w k = 0 \sum\limits_kw_k=0 k ∑ w k = 0 。
任取 a ∈ R d a\in\mathbb R^d a ∈ R d ,把每個 w k w_k w k 換成 w k + a w_k+a w k + a ,對所有 x ∈ R d x\in\mathbb R^d x ∈ R d 都不改變概率 p k ( x ) p_k(x) p k ( x ) ,因而也不改變 L L L 。每個等價類恰有一個滿足參考類別規範的矩陣,也恰有一個滿足零和規範的矩陣。
平移令 x x x 處所有分數同時增加 x T a x^{\mathsf T}a x T a 。softmax 對共同加上的常數不變,而損失項的變化為 x T a − x T a = 0 x^{\mathsf T}a-x^{\mathsf T}a=0 x T a − x T a = 0 。
參考規範取 a = − w K a=-w_K a = − w K ,便得到 w K = 0 w_K=0 w K = 0 。若 W W W 和 W + a 1 T W+a\mathbf 1^{\mathsf T} W + a 1 T 的最後一列均為零,則 a = 0 a=0 a = 0 ,故代表元唯一。
零和規範取 a = − w ˉ a=-\bar w a = − w ˉ ,其中 w ˉ = K − 1 ∑ k w k \bar w=K^{-1}\sum\limits_k w_k w ˉ = K − 1 k ∑ w k ,新列向量之和為零。若 W W W 和 W + a 1 T W+a\mathbf 1^{\mathsf T} W + a 1 T 的列和均為零,則 ∑ k w k + K a = K a = 0 \sum\limits_kw_k+Ka=Ka=0 k ∑ w k + K a = K a = 0 ,所以 a = 0 a=0 a = 0 。
這等價關係恰好描述在每個 x x x 都給出相同概率的參數矩陣。假設 W W W 和 W ′ W' W ′ 在所有 x x x 的 softmax 輸出相同。由 log p k = s k − LSE ( s ) \log p_k=s_k-\operatorname{LSE}(s) log p k = s k − LSE ( s ) ,差值 s k − s k ′ s_k-s'_k s k − s k ′ 不依賴 k k k 。記共同差值為 c ( x ) c(x) c ( x ) ,則每個 k k k 均有 ( w k − w k ′ ) T x = c ( x ) (w_k-w'_k)^{\mathsf T}x=c(x) ( w k − w k ′ ) T x = c ( x ) 。減去 k = K k=K k = K 的等式,得 ( w k − w k ′ − w K + w K ′ ) T x = 0 (w_k-w'_k-w_K+w'_K)^{\mathsf T}x=0 ( w k − w k ′ − w K + w K ′ ) T x = 0 對所有 x x x 成立。因此所有 k k k 都滿足 w k − w k ′ = w K − w K ′ w_k-w'_k=w_K-w'_K w k − w k ′ = w K − w K ′ ,即兩者相差共同平移。
即使 X X X 的列滿秩,這種不可識別性仍然存在;它來自參數化本身,而非數據。
數據亦可能帶來額外歧義。若訓練行向量不生成 R d \mathbb R^d R d ,便存在非零 v v v 使所有 i i i 都有 x i T v = 0 x_i^{\mathsf T}v=0 x i T v = 0 。只把 v v v 加到某一列 w k w_k w k ,不改變任何訓練分數或 L L L ,卻可能改變訓練行向量生成空間以外的新點預測。
例題 5.3.9
(規範代表元與一個察覺不到的變化)
令 w 1 = ( 1 , 2 ) w_1=(1,2) w 1 = ( 1 , 2 ) 、w 2 = ( 0 , − 1 ) w_2=(0,-1) w 2 = ( 0 , − 1 ) 、w 3 = ( 2 , 1 ) w_3=(2,1) w 3 = ( 2 , 1 ) 。求兩種規範代表元,檢查它們在 x = ( 1 , 1 ) x=(1,1) x = ( 1 , 1 ) 處是否一致,並給出預測。再假設每一訓練行都是 ( 1 , 1 ) (1,1) ( 1 , 1 ) 的倍數,展示一個訓練數據無法察覺的參數變化。
參考規範:減去 w 3 w_3 w 3 得 ( − 1 , 1 ) (-1,1) ( − 1 , 1 ) 、( − 2 , − 2 ) (-2,-2) ( − 2 , − 2 ) 、( 0 , 0 ) (0,0) ( 0 , 0 ) 。
零和規範:列平均 w ˉ = ( 1 , 2 3 ) \bar w=(1,\tfrac23) w ˉ = ( 1 , 3 2 ) 。減去它得 ( 0 , 4 3 ) (0,\tfrac43) ( 0 , 3 4 ) 、( − 1 , − 5 3 ) (-1,-\tfrac53) ( − 1 , − 3 5 ) 、( 1 , 1 3 ) (1,\tfrac13) ( 1 , 3 1 ) ,其和為零。兩組代表元每列相差共同向量 ( − 1 , − 1 3 ) (-1,-\tfrac13) ( − 1 , − 3 1 ) 。
在 x = ( 1 , 1 ) x=(1,1) x = ( 1 , 1 ) ,原分數為 ( 3 , − 1 , 3 ) (3,-1,3) ( 3 , − 1 , 3 ) ,參考規範分數為 ( 0 , − 4 , 0 ) (0,-4,0) ( 0 , − 4 , 0 ) ,零和規範分數為 ( 4 3 , − 8 3 , 4 3 ) (\tfrac43,-\tfrac83,\tfrac43) ( 3 4 , − 3 8 , 3 4 ) 。後兩組分別由原分數共同平移 − 3 -3 − 3 和 − 5 3 -\tfrac53 − 3 5 得到,三組都給出
p = ( 1 2 + e − 4 , e − 4 2 + e − 4 , 1 2 + e − 4 ) . p=\Big(\frac1{2+e^{-4}},\ \frac{e^{-4}}{2+e^{-4}},\ \frac1{2+e^{-4}}\Big). p = ( 2 + e − 4 1 , 2 + e − 4 e − 4 , 2 + e − 4 1 ) . 類別 1 和 3 平手;若事先規定選最小編號,預測便是類別 1。
對只在訓練數據中出現的歧義,取 v = ( 1 , − 1 ) v=(1,-1) v = ( 1 , − 1 ) 。它與 ( 1 , 1 ) (1,1) ( 1 , 1 ) 正交,故與每條訓練行正交。把 w 2 w_2 w 2 換成 w 2 + v = ( 1 , − 2 ) w_2+v=(1,-2) w 2 + v = ( 1 , − 2 ) ,訓練分數都不變,但在 x = ( 1 , 0 ) x=(1,0) x = ( 1 , 0 ) 處的類別 2 分數增加 1 1 1 。
假設 x 1 , … , x n x_1,\dots,x_n x 1 , … , x n 生成 R d \mathbb R^d R d 。那麼對每個有限 W W W 及每個滿足 ∑ k δ w k = 0 \sum\limits_k\delta w_k=0 k ∑ δ w k = 0 的非零方向 Δ \Delta Δ ,梯度與 Hessian 一節中的二次型嚴格為正。因此 L L L 限制在 { W : ∑ k w k = 0 } \{W:\sum\limits_kw_k=0\} { W : k ∑ w k = 0 } 上時嚴格凸。
假設二次型為零。每行貢獻的方差均非負,因此每行的 ∑ k p i k ( u i k − u ˉ i ) 2 \sum\limits_k p_{ik}(u_{ik}-\bar u_i)^2 k ∑ p ik ( u ik − u ˉ i ) 2 均為零。由於所有 p i k > 0 p_{ik}>0 p ik > 0 ,每個 k k k 都有 u i k = u ˉ i u_{ik}=\bar u_i u ik = u ˉ i 。
對 k k k 求和:K u ˉ i = x i T ∑ k δ w k = 0 K\bar u_i=x_i^{\mathsf T}\sum\limits_k\delta w_k=0 K u ˉ i = x i T k ∑ δ w k = 0 ,所以所有 i , k i,k i , k 都有 u i k = x i T δ w k = 0 u_{ik}=x_i^{\mathsf T}\delta w_k=0 u ik = x i T δ w k = 0 。行向量生成 R d \mathbb R^d R d ,故每個 δ w k \delta w_k δ w k 與整個 R d \mathbb R^d R d 正交,必為零,即 Δ = 0 \Delta=0 Δ = 0 。
相同論證適用於參考規範:δ w K = 0 \delta w_K=0 δ w K = 0 給出 u i K = 0 u_{iK}=0 u i K = 0 ,直接推出 u ˉ i = 0 \bar u_i=0 u ˉ i = 0 。規範子空間內每條線段上的 Hessian 正定,故限制函數嚴格凸。
證明透視
三個假設,三項分工 證明從梯度與 Hessian 一節的方差分解出發,所以唯一的問題是:每行的方差何時可以全部為零。每個假設各自排除一種可能。
W W W 有限給出每個類別都有 p i k > 0 p_{ik}>0 p ik > 0 。正是這一點把加權方差為零變成對所有 k k k 都有 u i k = u ˉ i u_{ik}=\bar u_i u ik = u ˉ i ;若某個概率為 0 0 0 ,對應的 u i k u_{ik} u ik 便不受約束。這種正性並不一致:沿通往無窮遠的路徑,某些概率趨向 0 0 0 ,曲率也可能趨向 0 0 0 ;下一節正因此能出現嚴格凸卻沒有極小點的情況。
規範條件排除共同平移方向。沒有它,對每個 k k k 取 δ w k = a \delta w_k=a δ w k = a 便給出常數 u i k u_{ik} u ik 和零方差,這就是上一個定理的不變性。條件只在一行中用到:對 k k k 求和,把 u i k = u ˉ i u_{ik}=\bar u_i u ik = u ˉ i 變成 u ˉ i = 0 \bar u_i=0 u ˉ i = 0 。
生成假設把「對所有訓練行 x i T δ w k = 0 x_i^{\mathsf T}\delta w_k=0 x i T δ w k = 0 」變成 δ w k = 0 \delta w_k=0 δ w k = 0 。下面例子中的第三個方向說明它不能省略。
嚴格凸只保證極小值至多有一個,並不保證極小值存在。
取一行 x = ( 1 , 2 ) x=(1,2) x = ( 1 , 2 ) ,其 p = ( 1 / 2 , 1 / 6 , 1 / 3 ) p=(1/2,1/6,1/3) p = ( 1/2 , 1/6 , 1/3 ) 如上文兩筆觀察例子的第 1 行。分別計算共同平移、非常數方向,以及與 x x x 正交的方向之二階方向導數。
(a) 共同平移:所有 k k k 均取 δ w k = a \delta w_k=a δ w k = a ,則每個 u k = x T a u_k=x^{\mathsf T}a u k = x T a 。常數的加權方差為 0 0 0 ,與共同平移不變性一致。
(b) 非常數方向:取 δ w 1 = ( 1 , 0 ) \delta w_1=(1,0) δ w 1 = ( 1 , 0 ) 、δ w 2 = 0 \delta w_2=0 δ w 2 = 0 、δ w 3 = ( − 1 , 0 ) \delta w_3=(-1,0) δ w 3 = ( − 1 , 0 ) 。它們的和為零,且 u = ( 1 , 0 , − 1 ) u=(1,0,-1) u = ( 1 , 0 , − 1 ) 。於是 ∑ p k u k 2 = 1 2 + 1 3 = 5 6 \sum p_ku_k^2=\tfrac12+\tfrac13=\tfrac56 ∑ p k u k 2 = 2 1 + 3 1 = 6 5 ,∑ p k u k = 1 2 − 1 3 = 1 6 \sum p_ku_k=\tfrac12-\tfrac13=\tfrac16 ∑ p k u k = 2 1 − 3 1 = 6 1 ,方差為 5 6 − 1 36 = 29 36 > 0 \tfrac56-\tfrac1{36}=\tfrac{29}{36}>0 6 5 − 36 1 = 36 29 > 0 。
作為核對,分數的 Hessian 為
diag ( p ) − p p T = ( 1 / 4 − 1 / 12 − 1 / 6 − 1 / 12 5 / 36 − 1 / 18 − 1 / 6 − 1 / 18 2 / 9 ) , \operatorname{diag}(p)-pp^{\mathsf T}=\begin{pmatrix}1/4&-1/12&-1/6\\-1/12&5/36&-1/18\\-1/6&-1/18&2/9\end{pmatrix}, diag ( p ) − p p T = 1/4 − 1/12 − 1/6 − 1/12 5/36 − 1/18 − 1/6 − 1/18 2/9 , 且 u T H u = 1 4 + 2 9 + 1 3 = 29 36 u^{\mathsf T}Hu=\tfrac14+\tfrac29+\tfrac13=\tfrac{29}{36} u T H u = 4 1 + 9 2 + 3 1 = 36 29 。
(c) 與 x x x 正交的方向:取 δ w 1 = ( 2 , − 1 ) \delta w_1=(2,-1) δ w 1 = ( 2 , − 1 ) 、δ w 2 = 0 \delta w_2=0 δ w 2 = 0 、δ w 3 = ( − 2 , 1 ) \delta w_3=(-2,1) δ w 3 = ( − 2 , 1 ) 。它們的和為零,方向非零,但 u = 0 u=0 u = 0 ,故二次型為零。單一行向量不生成 R 2 \mathbb R^2 R 2 ,因此定理的生成假設不可省略。
極小值是否存在
反例模式
嚴格凸且有下界,卻沒有最小值 取 n = 1 n=1 n = 1 、d = 1 d=1 d = 1 、x = 1 x=1 x = 1 、y = 1 y=1 y = 1 和 K = 3 K=3 K = 3 。在參考規範中令 w 3 = 0 w_3=0 w 3 = 0 、w 2 = 0 w_2=0 w 2 = 0 、w 1 = t w_1=t w 1 = t 。分數為 ( t , 0 , 0 ) (t,0,0) ( t , 0 , 0 ) ,而
L = log ( e t + 2 ) − t = log ( 1 + 2 e − t ) . L=\log(e^t+2)-t=\log(1+2e^{-t}). L = log ( e t + 2 ) − t = log ( 1 + 2 e − t ) . 當 t → ∞ t\to\infty t → ∞ ,此值嚴格遞減至 0 0 0 。模型與似然一節已證明有限參數下 L > 0 L>0 L > 0 ,因為 p 1 < 1 p_1\lt1 p 1 < 1 。故下確界 0 0 0 無法達到。
單行 x = 1 x=1 x = 1 生成 R 1 \mathbb R^1 R 1 ,所以前一個定理適用:規範內損失嚴格凸,卻沒有極小值。在完整的二維規範 ( w 1 , w 2 ) (w_1,w_2) ( w 1 , w 2 ) 上,下確界同樣是 0 0 0 ,因此結論不變。
原因是模型只在極限中完美擬合數據。這裏不聲稱所有不可分數據都一定有有限最優解;那類結論需要另行證明。相反,加入以下懲罰可以保證存在性。
定理 5.3.12
(完整嶺懲罰給出唯一有限極小值)
對 λ > 0 \lambda>0 λ > 0 ,在完整空間 R d × K \mathbb R^{d\times K} R d × K 上,若每個係數均受懲罰,則 J ( W ) = L ( W ) + λ 2 ∥ W ∥ F 2 J(W)=L(W)+\tfrac{\lambda}{2}\|W\|_F^2 J ( W ) = L ( W ) + 2 λ ∥ W ∥ F 2 恰有一個極小值,且它滿足 ∑ k w k = 0 \sum\limits_kw_k=0 k ∑ w k = 0 。
由 L ≥ 0 L\ge0 L ≥ 0 ,得 J ( W ) ≥ λ 2 ∥ W ∥ F 2 J(W)\ge\tfrac\lambda2\|W\|_F^2 J ( W ) ≥ 2 λ ∥ W ∥ F 2 。在 W = 0 W=0 W = 0 時,所有概率均為 1 / K 1/K 1/ K ,故 J ( 0 ) = log K J(0)=\log K J ( 0 ) = log K 。次水平集 { J ≤ log K } \{J\le\log K\} { J ≤ log K } 因此有界;由連續性它也是閉集,且非空。連續函數在非空緊緻集上取得最小值,而該點亦是 J J J 的全局極小點。
J J J 的方向二階導數是方差形式加上 λ ∥ Δ ∥ F 2 \lambda\|\Delta\|_F^2 λ ∥Δ ∥ F 2 ,對 Δ ≠ 0 \Delta\ne0 Δ = 0 嚴格為正。所以 J J J 嚴格凸,極小點唯一。
最後,∥ W − w ˉ 1 T ∥ F 2 = ∥ W ∥ F 2 − K ∥ w ˉ ∥ 2 \|W-\bar w\mathbf 1^{\mathsf T}\|_F^2=\|W\|_F^2-K\|\bar w\|^2 ∥ W − w ˉ 1 T ∥ F 2 = ∥ W ∥ F 2 − K ∥ w ˉ ∥ 2 ,而此平移不改變 L L L 。若 w ˉ ≠ 0 \bar w\ne0 w ˉ = 0 ,減去列平均便會嚴格降低 J J J ,故極小點必有 w ˉ = 0 \bar w=0 w ˉ = 0 。
懲罰改變了目標函數;J J J 的極小點不一定是 L L L 的極小點,而且 J J J 不再對原始共同平移不變。
定理要求每個係數都受懲罰。若截距或部分係數不受懲罰,便不能一概保證存在性。例如把上面的 x = 1 x=1 x = 1 看作不受懲罰的截距,則 J = L J=L J = L ,仍然沒有極小點。
二元情況
當 K = 2 K=2 K = 2 ,採用參考規範 w 2 = 0 w_2=0 w 2 = 0 ,則 s 2 = 0 s_2=0 s 2 = 0 ,並有
p 1 = e s 1 e s 1 + 1 = σ ( s 1 ) , σ ( z ) = 1 1 + e − z . p_1=\frac{e^{s_1}}{e^{s_1}+1}=\sigma(s_1),\qquad \sigma(z)=\frac1{1+e^{-z}}. p 1 = e s 1 + 1 e s 1 = σ ( s 1 ) , σ ( z ) = 1 + e − z 1 .
記 z i = 1 { y i = 1 } z_i=\mathbf 1\{y_i=1\} z i = 1 { y i = 1 } ,損失項為 log ( 1 + e s i 1 ) − z i s i 1 \log(1+e^{s_{i1}})-z_is_{i1} log ( 1 + e s i 1 ) − z i s i 1 。它等於 − [ z i log σ ( s i 1 ) + ( 1 − z i ) log ( 1 − σ ( s i 1 ) ) ] -[z_i\log\sigma(s_{i1})+(1-z_i)\log(1-\sigma(s_{i1}))] − [ z i log σ ( s i 1 ) + ( 1 − z i ) log ( 1 − σ ( s i 1 ))] ,即二元邏輯損失。梯度 n − 1 ∑ i ( σ ( s i 1 ) − z i ) x i n^{-1}\sum\limits_i(\sigma(s_{i1})-z_i)x_i n − 1 i ∑ ( σ ( s i 1 ) − z i ) x i 也是熟悉的邏輯梯度。若不選規範,則 p 1 = σ ( s 1 − s 2 ) p_1=\sigma(s_1-s_2) p 1 = σ ( s 1 − s 2 ) ,所以數據只能識別差值 w 1 − w 2 w_1-w_2 w 1 − w 2 。
從分數到決策與評估
固定其他分數時,提高 s k s_k s k 會嚴格提高 p k p_k p k ,因為
p k = ( 1 + ∑ j ≠ k e s j − s k ) − 1 . p_k=\Big(1+\sum_{j\ne k}e^{s_j-s_k}\Big)^{-1}. p k = ( 1 + j = k ∑ e s j − s k ) − 1 .
它也會嚴格降低每個 j ≠ k j\ne k j = k 的 p j = e s j / ( e s k + ∑ l ≠ k e s l ) p_j=e^{s_j}/(e^{s_k}+\sum\limits_{l\ne k}e^{s_l}) p j = e s j / ( e s k + l = k ∑ e s l ) ,但其他類別之間的概率比不變。所有分數共同平移則甚麼也不改變。改變 w k w_k w k 的一個係數會改變 s k ( x ) s_k(x) s k ( x ) ,變化方向取決於 x x x ;係數是透過分數起作用,並非對所有輸入都有相同方向的影響。
預測 是決策,與概率向量不同。softmax 保持分數的大小次序,因此 arg max k p k = arg max k s k \arg\max\limits_kp_k=\arg\max\limits_ks_k arg k max p k = arg k max s k 。可能出現平手,需要事先訂立規則,例如選最小編號。
快速檢查
(對分數 ( 2 , 2 , − 1 ) (2,\,2,\,-1) ( 2 , 2 , − 1 ) ,給出 softmax 概率,以及按最小編號平手規則的預測。)
解答 · 答案 記 D = 2 e 2 + e − 1 D=2e^{2}+e^{-1} D = 2 e 2 + e − 1 ,概率為 ( e 2 / D , e 2 / D , e − 1 / D ) = ( 1 / ( 2 + e − 3 ) , 1 / ( 2 + e − 3 ) , e − 3 / ( 2 + e − 3 ) ) ≈ ( 0.488 , 0.488 , 0.024 ) (e^2/D,\ e^2/D,\ e^{-1}/D)=\bigl(1/(2+e^{-3}),\ 1/(2+e^{-3}),\ e^{-3}/(2+e^{-3})\bigr)\approx(0.488,\,0.488,\,0.024) ( e 2 / D , e 2 / D , e − 1 / D ) = ( 1/ ( 2 + e − 3 ) , 1/ ( 2 + e − 3 ) , e − 3 / ( 2 + e − 3 ) ) ≈ ( 0.488 , 0.488 , 0.024 ) 。類別 1 1 1 和 2 2 2 的分數並列最大,所以最小編號規則預測類別 1 1 1 。平手是決策規則的問題;概率本身是明確定義的。
若分類錯誤的代價不同,亦可考慮最小化期望誤分類代價等決策規則。
能穩定計算概率,並不代表概率已校準 :例如預測概率為 0.7 0.7 0.7 的事件,是否約有 70 % 70\% 70% 真的發生。校準需要用留出的數據評估。
標籤到編號 1 , … , K 1,\dots,K 1 , … , K 的映射必須在留出數據評估前固定,訓練和測試時亦須一致。留出數據的平均交叉熵、準確率和 K × K K\times K K × K 混淆矩陣都按同一映射計算。
訓練損失低本身並不表示新數據表現良好;泛化結論需要假設,例如數據來自共同分布。標準誤和其他推論亦需要可識別性與模型假設。擬合係數描述關聯,若沒有額外設計或假設,不能據此得出因果結論。
練習
練習 5.3.13
(令 K = 2 K=2 K = 2 、d = 1 d=1 d = 1 ,取 x 1 = 1 x_1=1 x 1 = 1 、y 1 = 1 y_1=1 y 1 = 1 ,x 2 = − 1 x_2=-1 x 2 = − 1 、y 2 = 2 y_2=2 y 2 = 2 ,並記 θ = w 1 − w 2 \theta=w_1-w_2 θ = w 1 − w 2 。把 L L L 化為 θ \theta θ 的函數,證明沒有極小點,並求 λ = 1 / ( 2 log 3 ) \lambda=1/(2\log3) λ = 1/ ( 2 log 3 ) 時完整嶺目標 J = L + λ 2 ( w 1 2 + w 2 2 ) J=L+\tfrac\lambda2(w_1^2+w_2^2) J = L + 2 λ ( w 1 2 + w 2 2 ) 的極小點。若固定 w 2 = 0 w_2=0 w 2 = 0 並只懲罰 w 1 w_1 w 1 ,有何改變?)
核心
解答 (5) 1 化成一個參數
第 1 行貢獻 log ( e w 1 + e w 2 ) − w 1 = log ( 1 + e − θ ) \log(e^{w_1}+e^{w_2})-w_1=\log(1+e^{-\theta}) log ( e w 1 + e w 2 ) − w 1 = log ( 1 + e − θ ) ;第 2 行貢獻 log ( e − w 1 + e − w 2 ) + w 2 = log ( 1 + e − θ ) \log(e^{-w_1}+e^{-w_2})+w_2=\log(1+e^{-\theta}) log ( e − w 1 + e − w 2 ) + w 2 = log ( 1 + e − θ ) 。故 L = log ( 1 + e − θ ) L=\log(1+e^{-\theta}) L = log ( 1 + e − θ ) 。取 z 1 = 1 z_1=1 z 1 = 1 、z 2 = 0 z_2=0 z 2 = 0 ,分數為 ± θ \pm\theta ± θ ,便與二元情況一節的二元邏輯損失一致。
2 證明下確界不達到
d L / d θ = − σ ( − θ ) < 0 dL/d\theta=-\sigma(-\theta)\lt0 d L / d θ = − σ ( − θ ) < 0 ,所以沒有駐點,而且當 θ → ∞ \theta\to\infty θ → ∞ ,L ↓ 0 L\downarrow0 L ↓ 0 。數據是可分的:任何 θ > 0 \theta>0 θ > 0 都能正確分類兩點,而且增大 θ \theta θ 總會降低損失。
3 解完整懲罰的駐點方程
關鍵一步
L ′ ( θ ) + λ w 1 = 0 L'(\theta)+\lambda w_1=0 L ′ ( θ ) + λ w 1 = 0 與 − L ′ ( θ ) + λ w 2 = 0 -L'(\theta)+\lambda w_2=0 − L ′ ( θ ) + λ w 2 = 0 推出 w 2 = − w 1 w_2=-w_1 w 2 = − w 1 ,於是 θ = 2 w 1 \theta=2w_1 θ = 2 w 1 ,且 σ ( − θ ) = λ θ / 2 \sigma(-\theta)=\lambda\theta/2 σ ( − θ ) = λ θ /2 。取 λ = 1 / ( 2 log 3 ) \lambda=1/(2\log3) λ = 1/ ( 2 log 3 ) ,則 θ = log 3 \theta=\log3 θ = log 3 滿足方程,因為 σ ( − log 3 ) = 1 4 = λ log 3 / 2 \sigma(-\log3)=\tfrac14=\lambda\log3/2 σ ( − log 3 ) = 4 1 = λ log 3/2 。
4 確定極小點
w 1 = 1 2 log 3 w_1=\tfrac12\log3 w 1 = 2 1 log 3 、w 2 = − 1 2 log 3 w_2=-\tfrac12\log3 w 2 = − 2 1 log 3 ,在 x = 1 x=1 x = 1 處擬合的 p 1 = σ ( log 3 ) = 3 4 p_1=\sigma(\log3)=\tfrac34 p 1 = σ ( log 3 ) = 4 3 。
依據: J J J 嚴格凸,所以駐點就是唯一極小點。
5 與固定規範的懲罰比較
若固定 w 2 = 0 w_2=0 w 2 = 0 並只懲罰 w 1 w_1 w 1 ,條件變成 σ ( − θ ) = λ θ \sigma(-\theta)=\lambda\theta σ ( − θ ) = λ θ 。在 θ = log 3 \theta=\log3 θ = log 3 時右邊等於 1 2 ≠ 1 4 \tfrac12\ne\tfrac14 2 1 = 4 1 ,故極小點不同。對不同規範代表元直接套用同一個懲罰公式,可能改變擬合模型。
看下一步 (2/5) 全部展開