你的進度
0/ 21 節已標記完成
下一節: 1.1 經驗風險與假設類的大小
完成記錄儲存在此瀏覽器中。
這門課在網上
MATH3340 筆記裏的內容
- 定理卡
- 42
- 定義
- 23
- 反例
- 25
- 概念視角
- 11
- 思想史
- 3
- 證明透視
- 24
有思想史的節
這些思想史還沒有放上時間線。
這門課的概念視角還沒有記錄到網上。
數字只算這門課 21 節公開筆記裏寫了甚麼,不是網上已記錄的關係。目前其中 0 節已細緻地記錄到網上。
在網上定理卡 42 · 定義 23 · 反例 25 · 概念視角 11 · 思想史 3 · 證明透視 24
第 1 章 · 1 節
泛化與複雜度
分清擬合與泛化,證明有限假設類及 Rademacher 界,並以覆蓋數近似無限假設類。
- 1.1
經驗風險與假設類的大小
分清擬合與泛化,證明有限假設類及 Rademacher 界,並以覆蓋數近似無限假設類。
第 2 章 · 1 節
學習的最優化方法
證明光滑梯度下降及投影隨機梯度界,計算曲率與雜訊的影響,並分清最優化與泛化。
- 2.1
下降法、隨機梯度與最優化誤差
證明光滑梯度下降及投影隨機梯度界,計算曲率與雜訊的影響,並分清最優化與泛化。
第 3 章 · 1 節
表示與選擇
推導核嶺迴歸,構造單變量 ReLU 近似,並分析梯度下降在過度參數化線性模型中選出的解。
- 3.1
核方法、ReLU 近似與最小範數擬合
推導核嶺迴歸,構造單變量 ReLU 近似,並分析梯度下降在過度參數化線性模型中選出的解。
第 4 章 · 1 節
4.1 集中、壓縮與鏈式估計
把絕對 Rademacher 平均轉化為高概率保證,證明損失壓縮,並建立常數明確的有限尺度熵鏈。
- 4.1
集中、壓縮與鏈式估計
把絕對 Rademacher 平均轉化為高概率保證,證明損失壓縮,並建立常數明確的有限尺度熵鏈。
第 5 章 · 1 節
5.1 構造再生核 Hilbert 空間
由半正定核建立函數 Hilbert 空間,證明完備化與再生步驟,並推導插值及正規化嶺學習。
- 5.1
構造再生核 Hilbert 空間
由半正定核建立函數 Hilbert 空間,證明完備化與再生步驟,並推導插值及正規化嶺學習。
第 6 章 · 1 節
6.1 構造多變量神經近似
用張量帽函數及 ReLU 乘法建立多變量近似,追蹤誤差與網絡大小,並證明有限區域的限制。
- 6.1
構造多變量神經近似
用張量帽函數及 ReLU 乘法建立多變量近似,追蹤誤差與網絡大小,並證明有限區域的限制。
第 7 章 · 1 節
7.1 Jacobian 穩定性與非線性訓練
用 Jacobian 穩定性、路徑長度、梯度流及離散下降,證明光滑非線性最小二乘的局部至整體擬合保證。
- 7.1
Jacobian 穩定性與非線性訓練
用 Jacobian 穩定性、路徑長度、梯度流及離散下降,證明光滑非線性最小二乘的局部至整體擬合保證。
第 8 章 · 1 節
8. Logistic 分類
研究經驗 Logistic 損失、凸性及可分性。
- 8.1
Logistic 損失、凸性與可分性
推導 Logistic 梯度與曲率,區分凸性和最小值的達到。
第 10 章 · 1 節
算法穩定性
以替換一項恆等式證明期望泛化,控制正則化最小點及耦合梯度迭代,並分清最優化、統計及懲罰誤差。
- 10.1
替換一項穩定性與正則化學習
以替換一項恆等式證明期望泛化,控制正則化最小點及耦合梯度迭代,並分清最優化、統計及懲罰誤差。
第 11 章 · 1 節
核分類
推導鉸鏈損失的有限表示、軟間隔對偶與支持向量證書,並明確區分截距約定。
- 11.1
核分類:鉸鏈損失、對偶與支持向量
證明鉸鏈損失的有限表示及最小值取得,推導軟間隔對偶與強對偶,並用精確例題解讀奇異 Gram 矩陣。
第 12 章 · 1 節
隨機特徵核近似
證明無偏半正定 Gram 近似、有限數據集中及嶺擾動界,分清計算與統計誤差。
- 12.1
隨機特徵:有限 Gram 近似與嶺迴歸擾動
構造無偏且半正定的隨機特徵 Gram 矩陣,證明有限數據集中界,並以明確失效例子量化對嶺迴歸預測的影響。
第 14 章 · 1 節
地標核近似
以特徵投影、奇異區塊矩陣與可驗證殘差憑證,解釋有限 Nyström 近似。
- 14.1
Nyström 近似:地標生成空間與半正定殘差
把有限 Nyström 近似推導為特徵投影,以偽逆處理奇異地標矩陣,並用明確失效例子證明殘差與 Schur 補的性質。
第 15 章 · 1 節
替代風險與分類
把條件 Bayes 決策與鉸鏈、邏輯斯風險連起來,再追蹤近似、估計及最優化誤差。
- 15.1
從替代損失到 Bayes 分類
證明 Bayes 超額風險恆等式及鉸鏈、邏輯斯損失的校準不等式,再分清分類保證中的統計、最優化與近似誤差。
第 16 章 · 1 節
核方法的槓桿分數抽樣
證明有限嶺槓桿地標抽樣保證,並理解其限制。
- 16.1
用嶺槓桿分數抽樣選擇地標
利用嶺槓桿分數和二階矩方法,證明有限樣本地標近似保證。
第 17 章 · 1 節
VC 維數與學習
計算分類器模式,並連繫打散與一致學習。
- 17.1
打散、增長函數與一致學習
以 Sauer–Shelah 引理計數標記模式,並推導有限分類器族的一致收斂界。
第 18 章 · 1 節
隨機凸最優化
追蹤投影中的條件雜訊,證明凸平均界,並以完整相消的加權平均得到強凸速率。
- 18.1
投影隨機梯度與加權凸收斂率
追蹤投影中的條件雜訊,證明凸平均界,並以完整相消的加權平均得到強凸速率。
第 19 章 · 1 節
提前停止與風險
分析譜濾波和固定設計下的偏差—方差權衡。
- 19.1
提前停止、譜濾波與預測風險
推導梯度下降在固定設計下的偏差—方差權衡,並比較它與嶺迴歸的譜濾波。
第 20 章 · 1 節
驗證與模型選擇
在獨立訓練的預測器中作選擇,並理解留出法保證的限制。
- 20.1
用獨立驗證數據選擇預測器
證明有限候選模型的留出法選擇界,並檢視數據洩漏和測試集重用。
第 21 章 · 1 節
條件數與下降法
分析強凸性與光滑性下的梯度下降。
- 21.1
強凸性、條件數與梯度下降
證明光滑強凸目標的線性收斂率,理解曲率如何限制步長。
第 22 章 · 1 節
反向傳播
使用鏈鎖法則計算神經網絡的導數。
- 22.1
以鏈鎖法則理解反向傳播
推導並計算雙層神經網絡的梯度,了解 ReLU 在轉折點的微分限制。
第 23 章 · 1 節
隨機梯度收斂
研究無限時間範圍內遞減步長的隨機梯度迭代。
- 23.1
遞減步長與幾乎必然收斂
解釋持續修正與平方可和的雜訊如何使投影隨機梯度法收斂到強凸最小點。