你的进度
0/ 28 节已标记完成
下一节: 决策、估计与线性表示
完成记录保存在此浏览器中。
这门课在网上
CSCI3320 笔记里的内容
- 定理卡
- 70
- 定义
- 53
- 反例
- 30
- 概念视角
- 21
- 思想史
- 6
- 证明透视
- 33
有思想史的节
- 因子模型的估计与概率主成分分析4.1
- 归一化割与多路谱聚类5.1
- NMF 求解:乘法下降与非负最小二乘6.1
- RPCL 与学习过程中的模型选择7.1
- 乐观偏差、有效维度与信息准则26.1
- 概率校准:Brier 分解与决策代价28.1
这些思想史还没有放上时间线。
这门课的概念视角还没有记录到网上。
数字只算这门课 28 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。
在网上定理卡 70 · 定义 53 · 反例 30 · 概念视角 21 · 思想史 6 · 证明透视 33
第 1 章 · 1 节
统计基础与线性几何
区分预测损失与似然,推导最小二乘,并比较奇异值分解及费歇判别的几何目的。
- 1.1
决策、估计与线性表示
区分预测损失与似然,推导最小二乘,并比较奇异值分解及费歇判别的几何目的。
第 2 章 · 1 节
潜在概率模型
推导 EM 下界,计算高斯混合更新,并分析协方差塌缩与潜在因子的不可识别性。
- 2.1
高斯混合、EM 与因子模型
推导 EM 下界,计算高斯混合更新,并分析协方差塌缩与潜在因子的不可识别性。
第 3 章 · 1 节
聚类、正则化与模型选择
证明 k-means 下降与图拉普拉斯恒等式,再推导岭回归及稀疏收缩,并审慎处理模型选择。
- 3.1
聚类几何、图结构与小样本控制
证明 k-means 下降与图拉普拉斯恒等式,再推导岭回归及稀疏收缩,并审慎处理模型选择。
第 4 章 · 1 节
因子模型的估计与概率主成分分析
推导高斯后验充分统计量,完成因子分析的 EM 更新,并说明等方差噪声与主成分的关系。
- 4.1
因子模型的估计与概率主成分分析
推导高斯后验充分统计量,完成因子分析的 EM 更新,并说明等方差噪声与主成分的关系。
第 5 章 · 1 节
归一化割与多路谱聚类
建立相似度图,推导归一化割的迹松弛,并完成谱嵌入、行归一化及离散分组。
- 5.1
归一化割与多路谱聚类
建立相似度图,推导归一化割的迹松弛,并完成谱嵌入、行归一化及离散分组。
第 6 章 · 1 节
NMF 求解:乘法下降与非负最小二乘
以有效辅助函数证明下降,分析零锁定,并推导交替非负最小二乘方法。
- 6.1
NMF 求解:乘法下降与非负最小二乘
以有效辅助函数证明下降,分析零锁定,并推导交替非负最小二乘方法。
第 7 章 · 1 节
RPCL 与学习过程中的模型选择
精确指定频率敏感的对手惩罚,分析局部作用与限制,并对照明确的惩罚式增删程序。
- 7.1
RPCL 与学习过程中的模型选择
精确指定频率敏感的对手惩罚,分析局部作用与限制,并对照明确的惩罚式增删程序。
第 8 章 · 1 节
相关预测变量的稀疏求解与诚实验证
推导一般设计下的 lasso 坐标与近端更新,证明下降及拟合值唯一性,并区分调参与评估。
- 8.1
相关预测变量的稀疏求解与诚实验证
推导一般设计下的 lasso 坐标与近端更新,证明下降及拟合值唯一性,并区分调参与评估。
第 9 章 · 2 节
信息量度
有限交叉熵、相对熵与对数损失。
- 9.1
交叉熵与相对熵
证明有限分布的非负性,并把对数损失联系到经验频率。
- 9.2
互信息与数据处理不等式
推导有限互信息、其链式法则及数据处理不等式。
第 10 章 · 2 节
风险与正则化
重复训练下的期望平方损失与收缩。
- 10.1
平方损失下的偏差、方差与收缩
推导逐点预测风险,并以收缩例子量化偏差与方差的取舍。
- 10.2
以谱收缩理解岭回归
利用奇异值分解推导岭回归系数与拟合值,涵盖秩不足的设计矩阵。
第 11 章 · 1 节
排序与评估
ROC 曲线、分数并列及排序概率。
- 11.1
ROC 曲线、并列分数与排序概率
构造经验 ROC 曲线,并证明梯形 AUC 对并列分数作半分处理的配对解释。
第 12 章 · 1 节
随机优化
无偏随机梯度与期望下降。
- 12.1
小批量随机梯度与期望下降
在明确抽样假设下,推导无偏小批量梯度及光滑有限和的下降界。
第 18 章 · 1 节
密度估计的不确定性
在指定网格上区分有限样本抽样误差与平滑偏差。
- 18.1
有限网格上的密度不确定性
推导箱形核估计的有限网格同时置信带,区分抽样误差与平滑偏差,并处理有限候选带宽的自适应选择。
第 19 章 · 1 节
线性判别
费歇方向、分类与奇异散布。
- 19.1
Fisher 判别:散布、投影方向与分类
推导 Fisher 方向,分清投影准则与决策规则,并处理奇异散布矩阵及特征单位改变。
第 20 章 · 1 节
多类决策与核估计的准确度
最小化完整条件成本矩阵,比较代入式估计,并证明一维核密度的偏差、方差及积分误差率。
- 20.1
多类决策与核估计的准确度
最小化完整条件成本矩阵,比较代入式估计,并证明一维核密度的偏差、方差及积分误差率。
第 21 章 · 1 节
计算与核对低秩表示
推导两种有限近似界,以间隙控制载荷扰动,并执行中心化主成分拟合与幂次迭代。
- 21.1
计算主成分:奇异值、谱间隙与可靠重建
拟合中心化的低秩表示,证明谱近似与有限扰动界,并辨认幂次迭代所需的假设。
第 22 章 · 1 节
层次聚类
用连接法与阈值图解读凝聚式树状图。
- 22.1
层次聚类:连接法与树状图
建立并解读凝聚式树状图,证明单连接与图的关系,并比较连接规则。
第 23 章 · 1 节
Ward 聚类
推导基于方差的合并代价并构造层次聚类。
- 23.1
Ward 聚类:方差与合并代价
推导合并两组时组内平方误差的增量,并用它构造层次聚类。
第 24 章 · 1 节
局部密度构造与多变量平滑
构造近邻及反射核估计,证明逐点一致性,并完整计算矩阵带宽比较。
- 24.1
构造局部密度估计:近邻、边界与带宽
计算近邻密度高度,证明逐点一致性,修正支撑边界,并在避免自身计数下选择多变量高斯带宽。
第 25 章 · 1 节
近邻分类
联系局部类别投票、贝叶斯决策与逐点一致性。
- 25.1
近邻分类:局部投票与一致性
构造局部类别投票,联系贝叶斯决策,并在明确条件下证明逐点一致性。
第 26 章 · 1 节
乐观偏差、有效维度与信息准则
证明有限高斯预测修正,推导线性模型 AICc,并界定 AIC 的似然论证与 BIC 的 Laplace 条件。
- 26.1
乐观偏差、有效维度与信息准则
证明有限高斯预测修正,推导线性模型 AICc,并界定 AIC 的似然论证与 BIC 的 Laplace 条件。
第 27 章 · 1 节
嵌套选择与程序评估
执行内层选择与外层重新拟合,计算精确有限例子,区分较小样本程序风险与最终预测器风险。
- 27.1
嵌套交叉验证:内层选择与外层评估
执行有限的嵌套选择算法,推导精确的外层风险目标,重现六点精确计算,并辨认合并泄漏与相依的折误差。
第 28 章 · 1 节
概率校准与决策成本
通过精确有限 Brier 恒等式,区分概率可靠性、保留的信息与决策风险。
- 28.1
概率校准:Brier 分解与决策代价
证明有限二元情形的 Brier 分解,完整计算一个人工构造的校准表,并区分分数的可靠性、保留的信息与考虑代价的决策。
第 29 章 · 1 节
线性分类器
通过间隔处理感知机、逻辑回归与最大间隔分类。
- 29.1
线性分类器:感知机、逻辑回归与最大间隔
定义线性分类器的间隔,证明感知机的错误次数上界,推导逻辑损失的梯度与凸性,并精确计算硬间隔分离超平面。
第 30 章 · 1 节
多层网络
前馈网络,以及梯度的精确反向传播计算。
- 30.1
多层感知机与反向传播
定义前馈网络,证明为何需要非线性激活函数,推导并证明反向传播递推式,并以手算验证精确梯度与异或网络。
第 31 章 · 1 节
决策树
贪心的分类树与回归树,及代价复杂度剪枝。
- 31.1
决策树:基尼不纯度、回归树与代价复杂度剪枝
以贪心的轴向分裂生长分类树与回归树,证明分裂准则背后的凹性与方差下降恒等式,并精确计算代价复杂度剪枝。