瀏覽章節
章節 1
迴歸
擬合觀測值、量度留出預測誤差，並推導正則化與稀疏模型。
- 閱讀本節
1.1 最小二乘與殘差
建立迴歸設計矩陣、推導正規方程，並從正交投影與加權理解殘差。
- 閱讀本節
1.2 模型驗證與嶺迴歸
分清擬合與模型驗證、計算留出誤差，並在明確的損失約定下推導嶺迴歸。
- 閱讀本節
1.3 LASSO 與匹配追蹤
推導軟閾值與座標最優條件，再追蹤匹配追蹤法並比較正交重新擬合。
- 閱讀本節
從數據到可用預測的完整回歸鏈
逐折驗證、重新擬合、單位還原與正則化的完整推導。
章節 2
降維
從數據、距離、核與類別標籤建立座標，逐一說明投影所優化的目標。
- 閱讀本節
2.1 奇異值分解與主成分
將數據矩陣居中、連接奇異值與協方差，並從方差及重建誤差推導主成分分析。
- 閱讀本節
2.2 經典與非度量多維尺度分析
以雙重中心化從成對相異度重建座標，並分清經典尺度分析的矩陣誤差與非度量 stress。
- 閱讀本節
2.3 核中心化與核主成分分析
將核 Gram 矩陣中心化、在特徵空間正規化特徵向量，並以固定訓練均值投影新觀測。
- 閱讀本節
2.4 Fisher 判別與類別散布
分解類別散布，透過白化、廣義特徵向量和類內度量求解 Fisher 比值。
- 閱讀本節
2.5 度量學習與隨機投影
從成對限制學習半正定距離，並推導高斯投影對有限資料集的距離保留。
- 閱讀本節
2.6 低秩矩陣補全
以觀測遮罩與低秩結構描述缺失值，推導奇異值閾值化及相應近端更新。
章節 3
優化
將梯度、曲率和步長連接到最小二乘的迭代求解。
- 閱讀本節
3.1 二次函數的梯度下降法
推導二次損失的梯度下降法，分析步長範圍，並以 Hessian 的譜解釋收斂。
章節 4
聚類
從明確定義及原創例題推導中心目標、概率成員、層次合併及密度連通。
- 閱讀本節
4.1 Voronoi 區域與 k 中心問題
推導最近中心區域及 Delaunay 對偶，再證明最遠優先 k 中心聚類的度量二倍近似保證。
- 閱讀本節
4.2 中心目標與 Lloyd 更新
比較均值、中位數及代表點的中心目標，推導 Lloyd 下降與有限終止，並解讀局部極小值及肘部圖。
- 閱讀本節
4.3 高斯混合與期望最大化
推導高斯混合責任權重及加權參數更新，證明似然上升，並區分軟 EM 與硬分配。
- 閱讀本節
4.4 層次聚類的連結準則與樹狀圖
建立及切割嵌套劃分，推導 Ward 合併代價，比較連結更新，並連繫單連結切割與圖的連通分量。
- 閱讀本節
4.5 密度連通與均值漂移
建立 DBSCAN 核心分量及邊界標籤，追蹤互達層次，並證明高斯均值漂移令密度上升。