浏览章节
章节 1
回归
拟合观测值、度量留出预测误差，并推导正则化与稀疏模型。
- 阅读本节
1.1 最小二乘与残差
建立回归设计矩阵、推导正规方程，并从正交投影与加权理解残差。
- 阅读本节
1.2 模型验证与岭回归
分清拟合与模型验证、计算留出误差，并在明确的损失约定下推导岭回归。
- 阅读本节
1.3 LASSO 与匹配追踪
推导软阈值与坐标最优条件，再追踪匹配追踪法并比较正交重新拟合。
- 阅读本节
从数据到可用预测的完整回归链
逐折验证、重新拟合、单位还原与正则化的完整推导。
章节 2
降维
从数据、距离、核与类别标签建立坐标，逐一说明投影所优化的目标。
- 阅读本节
2.1 奇异值分解与主成分
将数据矩阵中心化、连接奇异值与协方差，并从方差及重建误差推导主成分分析。
- 阅读本节
2.2 经典与非度量多维尺度分析
以双重中心化从成对相异度重建坐标，并分清经典尺度分析的矩阵误差与非度量 stress。
- 阅读本节
2.3 核中心化与核主成分分析
将核 Gram 矩阵中心化、在特征空间归一化特征向量，并以固定训练均值投影新观测。
- 阅读本节
2.4 Fisher 判别与类别散布
分解类别散布，通过白化、广义特征向量和类内度量求解 Fisher 比值。
- 阅读本节
2.5 度量学习与随机投影
从成对约束学习半正定距离，并推导高斯投影对有限数据集的距离保持。
- 阅读本节
2.6 低秩矩阵补全
以观测掩码与低秩结构描述缺失值，推导奇异值阈值化及相应近端更新。
章节 3
优化
将梯度、曲率和步长连接到最小二乘的迭代求解。
- 阅读本节
3.1 二次函数的梯度下降法
推导二次损失的梯度下降法，分析步长范围，并以 Hessian 的谱解释收敛。
章节 4
聚类
从明确定义及原创例题推导中心目标、概率成员、层次合并及密度连通。
- 阅读本节
4.1 Voronoi 区域与 k 中心问题
推导最近中心区域及 Delaunay 对偶，再证明最远优先 k 中心聚类的度量二倍近似保证。
- 阅读本节
4.2 中心目标与 Lloyd 更新
比较均值、中位数及代表点的中心目标，推导 Lloyd 下降与有限终止，并解读局部极小值及肘部图。
- 阅读本节
4.3 高斯混合与期望最大化
推导高斯混合责任权重及加权参数更新，证明似然上升，并区分软 EM 与硬分配。
- 阅读本节
4.4 层次聚类的连接准则与树状图
建立及切割嵌套划分，推导 Ward 合并代价，比较连接更新，并联系单连接切割与图的连通分量。
- 阅读本节
4.5 密度连通与均值漂移
建立 DBSCAN 核心分量及边界标签，追踪互达层次，并证明高斯均值漂移令密度上升。