動機
正交設計下,lasso 可逐項以軟門檻求解,因為每個係數控制一個獨立二次項。真實預測變量常有重疊;改動一個係數,也改動其他係數看見的殘差。因此對普通最小二乘向量套用門檻一次,通常不是答案,算法必須反覆處理這些互相影響。
座標下降固定其他係數,每次精確解一個純量問題;近端梯度則以二次上界控制耦合損失,再精確處理可分離的非光滑懲罰。兩者保留絕對值在零的尖角,因此能產生精確零係數,不必假裝目標處處可微。
小樣本還有另一層問題:看完驗證分數才選懲罰,也是在使用資訊。若把勝出分數再當獨立評估,就會產生選擇樂觀。本節把求解證書與評估程序連起來,同時分清係數選擇、未來預測及真實科學機制的恢復。
定義
定義 8.1.1
(已指定尺度的 lasso)
設 、、,最小化
記 為第 列,平滑梯度是 ,Lipschitz 常數可取 。軟門檻為 ,;向量逐項套用。
損失分母不可忽略:改分母卻不改懲罰,就改了問題。此處不含截距;不受懲罰的截距可用訓練數據中心化消去,預測時再還原。交叉驗證內,均值與尺度必須只由該折的訓練部分估計。若某列在該部分恆定,中心化後為零列,需要明確移除或取零係數,不能借用驗證數據的方差。
標準化也是建模選擇。預測列除以尺度後,係數要乘回同一尺度才保持預測;所以轉換座標上的等權絕對值懲罰,對原係數相當於加權懲罰。不同量度單位下的相同數字懲罰並非同一科學假設。應說明在哪個尺度等權懲罰,保留訓練估計的轉換參數,解釋模型時再仔細還原。
定義 8.1.2
(全域訓練最優證書)
對殘差 ,lasso 最優等價於
這是次梯度條件,在零包含絕對值的區間 。固定 的近端梯度殘差為 ,它恰在最優點為零。
整個係數問題是凸的,即使設計秩不足,也有全域證書。但凸性不保證係數唯一;這裏的全域最優只關乎已指定訓練目標,不表示預測風險最低或找到真實變量。
概念視角幾何
Lasso 即限制在 L1 球內的擬合
對一個極小點 ,令 。則 同時是 在 內的極小點,因為該集合內若有損失更小的競爭者,目標值也會更小。這個球是交叉多胞形,其頂點落在座標軸上,所以損失的等值集可以在一個點與它相切,而該點的某些係數恰好為零。
定理/命題
定理 8.1.3
(精確座標步與安全向量步)
設 、、。若 ,精確座標最小點是
若 ,取 唯一最小化該係數懲罰。若 且 ,近端梯度步
滿足 ,因此至少下降 。 時答案直接為零。
定理 8.1.4
(不同最優係數仍有同一擬合值)
對固定 與 ,最小點存在。任意兩個最小點 都滿足 ;秩不足時,係數與所選支撐仍可不同。若 列滿秩,係數本身唯一。
定理 8.1.5
(選擇會壓低勝出者的表面誤差)
若有限候選的誤差估計 皆可積分,則
此不等式不要求獨立。即使每項對相應風險都無偏,最小值通常仍是評估選擇程序的樂觀分數。獨立評估應包含完整選擇及擬合規則。
證明思路或證明
證明
(控制二次耦合,但保留絕對值尖角)
固定其他係數,變動部分是 。 時導數零點為 ,正值條件是 ; 時答案為 ,條件是 。其餘情況純量目標在 的次微分集合 包含零,故得座標式,亦涵蓋門檻等號。
向量步最小化 。配方後是 的近端問題,純量答案就是門檻 。令 ,最優條件給 ,且 。由凸性,
平滑二次式精確展開,配合 ,得 。相加即得下降。固定點條件為 ,凸性令它充分保證全域最小;逐座標展開此包含關係,也就得到殘差相關證書。
證明透視
耦合與非光滑各有處理方式
Gram 矩陣讓預測變量的損失耦合。座標算法反覆計算部分殘差;近端算法用可靠曲率界控制整個耦合。懲罰在兩者都被精確處理。任意替零位置挑一個導數,或只對無限制答案套用門檻一次,會破壞最優性推理。
證明
(存在、唯一預測與選擇樂觀)
因 ,次水平集有界,也因連續性閉合。最小化序列有收斂子序列,極限達到最小值。若兩最小點擬合值不同,中點的平方殘差嚴格小於兩者平均,懲罰則不大於平均,矛盾。若 單射,擬合值相同推出係數相同;否則沒有此結論。
對選擇不等式,逐點有 ,對每個固定 取期望,再取最小即證。若不同候選因估計噪音而勝出,可出現嚴格差距。此式說明報出的最小分數,並非直接給出隨機勝出候選的真實風險;後者還要另外評估。
完整座標求解器循環處理所有滿足 的設計列,每次精確更新後維護殘差,最後檢查所有係數的完整證書,包括零位置。近端求解器計算梯度、用有效曲率上界取步長,再套用門檻,並用指定近端殘差停止。鄰近懲罰可用前一解暖啟動,但訓練解路徑不是評估結果。近端觀點可參閱 Parikh 與 Boyd 的作者專著;本節所需的特殊推導已完整列出。
小樣本評估可保留外折測試整個程序。在每個外折訓練集中,用內折選懲罰;每個內折的中心化、標準化及變量篩選,都只用其內折訓練數據,再套到內折驗證數據,按指定預測損失比較。選定後,在整個外折訓練集重新估計轉換及係數,只在未碰過的外折評分一次,再按明確規則合併外折預測。最終模型可用開發數據重新選擇及擬合;獨立測試集留待全部規則鎖定後才使用。
這種巢狀程序評估的是較小訓練樣本下的選擇規則,不是最終某一組係數的精確保證。外折訓練集互相重疊,誤差可能相關;小驗證集也會讓選擇不穩。應報分折規則、候選網格、評分函數與外折變化,不能把一個最小值當成精確不確定區間,更不能把穩定支撐當成因果證明。
例題詳解
例題 8.1.6
(兩個相關預測變量的一輪更新)
取 、、、,不含截距。從零開始,首座標 ,更新成 。次座標見部分殘差 ,故 ,更新為 。一輪得 ,並非答案。重複後達 ,殘差 的兩個正規化相關皆為 ,符合 KKT。最優目標為 ;首輪則為 。
例題 8.1.7
(相同預測列產生無限多種支撐)
兩列皆為 ,,且 、。擬合只依賴 。三角不等式給 ,非負拆分時取等號。純量最優為 ,故所有非負且和為此值的係數都最優。可只選第一列、只選第二列,或兩列皆選;預測完全相同。精確解凸問題,也不能消除變量解釋的歧義。
例題 8.1.8
(無偏分數的勝出最小值仍有偏)
兩候選真實風險皆為二。各分數獨立地以相等概率取一或三,因此各自無偏。兩者最小值只有在全取三時才是三,概率 ;其他情形是一。其期望為 ,低於真實風險二。此構造下選中哪個候選,真實風險仍二。獨立外層評估要測選擇程序,而非重報內層的樂觀最小值。
常見錯誤
反例模式
相關設計不能只對普通答案套用門檻
兩預測例的無懲罰精確解為 。兩項各按門檻 得 ,殘差 。第二個正規化相關為 ,大於正係數要求的 ,所以此提議違反全域證書。正確相關設計答案是 。
常見錯誤
(預測、支撐與因果不是同一目標)
小最優化殘差證明的是指定凸訓練問題已解好;好的驗證預測評估的是指定預測程序。唯一支撐恢復需要設計、信號與噪音的更強條件,因果解釋更需要恰當研究設計。相關變量可互換而預測不變,調懲罰不能獨自回答這些科學問題。
總結
一般設計的 lasso 需要反覆察看殘差。座標下降精確解純量問題;近端梯度以曲率界與精確門檻下降。凸性提供全域訓練證書及唯一擬合值,係數卻仍可不唯一。誠實小樣本評估要把所有轉換與懲罰選擇都放進被評估程序。
練習
快速檢查
(在相關例首輪掃描之後,固定第二係數為 更新第一係數,再更新第二係數,並計算目標值。)
每一步重新計算部分殘差,更新依序進行。
解答 · 引導解答
第二係數為 時,第一部分殘差 ,正規化相關 、曲率 ,所以首係數成一。次座標再見殘差 ,相關一,故成 。重構 ,殘差 ,損失 、懲罰 ,總數 ,介乎首輪 與最優 。
快速檢查
(證明零向量是 lasso 的最小點,當且僅當最大絕對縮放預測變量與反應的內積 不超過 。)
用零座標證書。
解答 · 答案
零係數下殘差為 ,每項皆不活躍,所以充要條件是所有 ,即 ,容許等號。達到或高於門檻便得零解。若零為最優,唯一擬合值定理使每個最優解均有 ,故損失相同。相同目標值因而迫使 ;由 ,即使不滿列秩,零係數解仍唯一。
快速檢查
(兩個預測變量都是已正規化的 ,反應為 、。給出三個不同的最小點,並驗證它們的共同目標值。)
把總係數二作非負拆分。
解答 · 答案
可取 、、,皆產生 ,殘差 ,損失 ,懲罰皆二,目標 。由三角不等式化為純量問題,知它們都全域最優,即使支撐不同。
快速檢查
(某驗證折同時用來選懲罰、篩選變量及決定反應轉換。外層評估必須包括甚麼?為何不能重用勝出分數?)
被評估對象包含三項數據依賴的選擇。
解答 · 答案
每個外折訓練集內,都要重新用內部分折作懲罰、篩選與轉換決定,再以整個外折訓練集估計已選轉換及係數,鎖定後才對外折預測,並按指定尺度計損失。外折標籤不能影響任一選擇。重報內折最小分數,會包含因有利噪音而被選中的成分,正如不等式與例題所示。