跳到正文

CSCI3320

机器学习之基础课程

统计决策、线性判别、密度估计、潜在模型与因子模型、聚类、正则化、模型选择与评估、决策树及多层网络。

26 章 · 28 节EN · 繁 · 简
我的课程笔记

你的进度

0/ 28 节已标记完成

下一节: 决策、估计与线性表示

完成记录保存在此浏览器中。

这门课在网上

CSCI3320 笔记里的内容

定理卡
70
定义
53
反例
30
概念视角
21
思想史
6
证明透视
33

有思想史的节

这些思想史还没有放上时间线。

这门课的概念视角还没有记录到网上。

在知识图谱中打开这门课

数字只算这门课 28 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。

在网上定理卡 70 · 定义 53 · 反例 30 · 概念视角 21 · 思想史 6 · 证明透视 33

这些思想史还没有放上时间线。

这门课的概念视角还没有记录到网上。

在知识图谱中打开这门课

数字只算这门课 28 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。

第 1 章 · 1 节

统计基础与线性几何

区分预测损失与似然,推导最小二乘,并比较奇异值分解及费歇判别的几何目的。

定理 3 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 1.1

    决策、估计与线性表示

    区分预测损失与似然,推导最小二乘,并比较奇异值分解及费歇判别的几何目的。

第 2 章 · 1 节

潜在概率模型

推导 EM 下界,计算高斯混合更新,并分析协方差塌缩与潜在因子的不可识别性。

定理 3 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 2.1

    高斯混合、EM 与因子模型

    推导 EM 下界,计算高斯混合更新,并分析协方差塌缩与潜在因子的不可识别性。

第 3 章 · 1 节

聚类、正则化与模型选择

证明 k-means 下降与图拉普拉斯恒等式,再推导岭回归及稀疏收缩,并审慎处理模型选择。

定理 3 · 定义 4反例 2视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 3.1

    聚类几何、图结构与小样本控制

    证明 k-means 下降与图拉普拉斯恒等式,再推导岭回归及稀疏收缩,并审慎处理模型选择。

第 4 章 · 1 节

因子模型的估计与概率主成分分析

推导高斯后验充分统计量,完成因子分析的 EM 更新,并说明等方差噪声与主成分的关系。

定理 3 · 定义 2反例 1思想史 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 4.1

    因子模型的估计与概率主成分分析

    推导高斯后验充分统计量,完成因子分析的 EM 更新,并说明等方差噪声与主成分的关系。

第 5 章 · 1 节

归一化割与多路谱聚类

建立相似度图,推导归一化割的迹松弛,并完成谱嵌入、行归一化及离散分组。

定理 2 · 定义 2反例 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 5.1

    归一化割与多路谱聚类

    建立相似度图,推导归一化割的迹松弛,并完成谱嵌入、行归一化及离散分组。

第 6 章 · 1 节

NMF 求解:乘法下降与非负最小二乘

以有效辅助函数证明下降,分析零锁定,并推导交替非负最小二乘方法。

定理 2 · 定义 2反例 1视角 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 6.1

    NMF 求解:乘法下降与非负最小二乘

    以有效辅助函数证明下降,分析零锁定,并推导交替非负最小二乘方法。

第 7 章 · 1 节

RPCL 与学习过程中的模型选择

精确指定频率敏感的对手惩罚,分析局部作用与限制,并对照明确的惩罚式增删程序。

定理 2 · 定义 2反例 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 7.1

    RPCL 与学习过程中的模型选择

    精确指定频率敏感的对手惩罚,分析局部作用与限制,并对照明确的惩罚式增删程序。

第 8 章 · 1 节

相关预测变量的稀疏求解与诚实验证

推导一般设计下的 lasso 坐标与近端更新,证明下降及拟合值唯一性,并区分调参与评估。

定理 3 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 8.1

    相关预测变量的稀疏求解与诚实验证

    推导一般设计下的 lasso 坐标与近端更新,证明下降及拟合值唯一性,并区分调参与评估。

第 9 章 · 2 节

信息量度

有限交叉熵、相对熵与对数损失。

定理 6 · 定义 5反例 2证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 9.1

    交叉熵与相对熵

    证明有限分布的非负性,并把对数损失联系到经验频率。

  2. 9.2

    互信息与数据处理不等式

    推导有限互信息、其链式法则及数据处理不等式。

第 10 章 · 2 节

风险与正则化

重复训练下的期望平方损失与收缩。

定理 3 · 定义 2反例 2视角 2证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 10.1

    平方损失下的偏差、方差与收缩

    推导逐点预测风险,并以收缩例子量化偏差与方差的取舍。

  2. 10.2

    以谱收缩理解岭回归

    利用奇异值分解推导岭回归系数与拟合值,涵盖秩不足的设计矩阵。

第 11 章 · 1 节

排序与评估

ROC 曲线、分数并列及排序概率。

定理 1 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 11.1

    ROC 曲线、并列分数与排序概率

    构造经验 ROC 曲线,并证明梯形 AUC 对并列分数作半分处理的配对解释。

第 12 章 · 1 节

随机优化

无偏随机梯度与期望下降。

定理 3 · 定义 2反例 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 12.1

    小批量随机梯度与期望下降

    在明确抽样假设下,推导无偏小批量梯度及光滑有限和的下降界。

第 18 章 · 1 节

密度估计的不确定性

在指定网格上区分有限样本抽样误差与平滑偏差。

定理 2 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 18.1

    有限网格上的密度不确定性

    推导箱形核估计的有限网格同时置信带,区分抽样误差与平滑偏差,并处理有限候选带宽的自适应选择。

第 19 章 · 1 节

线性判别

费歇方向、分类与奇异散布。

定理 3 · 定义 1反例 1视角 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 19.1

    Fisher 判别:散布、投影方向与分类

    推导 Fisher 方向,分清投影准则与决策规则,并处理奇异散布矩阵及特征单位改变。

第 20 章 · 1 节

多类决策与核估计的准确度

最小化完整条件成本矩阵,比较代入式估计,并证明一维核密度的偏差、方差及积分误差率。

定理 3 · 定义 2反例 1视角 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 20.1

    多类决策与核估计的准确度

    最小化完整条件成本矩阵,比较代入式估计,并证明一维核密度的偏差、方差及积分误差率。

第 21 章 · 1 节

计算与核对低秩表示

推导两种有限近似界,以间隙控制载荷扰动,并执行中心化主成分拟合与幂次迭代。

定理 3 · 定义 2反例 1视角 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 21.1

    计算主成分:奇异值、谱间隙与可靠重建

    拟合中心化的低秩表示,证明谱近似与有限扰动界,并辨认幂次迭代所需的假设。

第 22 章 · 1 节

层次聚类

用连接法与阈值图解读凝聚式树状图。

定理 2 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 22.1

    层次聚类:连接法与树状图

    建立并解读凝聚式树状图,证明单连接与图的关系,并比较连接规则。

第 23 章 · 1 节

Ward 聚类

推导基于方差的合并代价并构造层次聚类。

定理 2 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 23.1

    Ward 聚类:方差与合并代价

    推导合并两组时组内平方误差的增量,并用它构造层次聚类。

第 24 章 · 1 节

局部密度构造与多变量平滑

构造近邻及反射核估计,证明逐点一致性,并完整计算矩阵带宽比较。

定理 3 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 24.1

    构造局部密度估计:近邻、边界与带宽

    计算近邻密度高度,证明逐点一致性,修正支撑边界,并在避免自身计数下选择多变量高斯带宽。

第 25 章 · 1 节

近邻分类

联系局部类别投票、贝叶斯决策与逐点一致性。

定理 1 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 25.1

    近邻分类:局部投票与一致性

    构造局部类别投票,联系贝叶斯决策,并在明确条件下证明逐点一致性。

第 26 章 · 1 节

乐观偏差、有效维度与信息准则

证明有限高斯预测修正,推导线性模型 AICc,并界定 AIC 的似然论证与 BIC 的 Laplace 条件。

定理 3 · 定义 2反例 1视角 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 26.1

    乐观偏差、有效维度与信息准则

    证明有限高斯预测修正,推导线性模型 AICc,并界定 AIC 的似然论证与 BIC 的 Laplace 条件。

第 27 章 · 1 节

嵌套选择与程序评估

执行内层选择与外层重新拟合,计算精确有限例子,区分较小样本程序风险与最终预测器风险。

定理 3 · 定义 2反例 2视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 27.1

    嵌套交叉验证:内层选择与外层评估

    执行有限的嵌套选择算法,推导精确的外层风险目标,重现六点精确计算,并辨认合并泄漏与相依的折误差。

第 28 章 · 1 节

概率校准与决策成本

通过精确有限 Brier 恒等式,区分概率可靠性、保留的信息与决策风险。

定理 2 · 定义 3反例 1视角 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 28.1

    概率校准:Brier 分解与决策代价

    证明有限二元情形的 Brier 分解,完整计算一个人工构造的校准表,并区分分数的可靠性、保留的信息与考虑代价的决策。

第 29 章 · 1 节

线性分类器

通过间隔处理感知机、逻辑回归与最大间隔分类。

定理 4 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 29.1

    线性分类器:感知机、逻辑回归与最大间隔

    定义线性分类器的间隔,证明感知机的错误次数上界,推导逻辑损失的梯度与凸性,并精确计算硬间隔分离超平面。

第 30 章 · 1 节

多层网络

前馈网络,以及梯度的精确反向传播计算。

定理 2 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 30.1

    多层感知机与反向传播

    定义前馈网络,证明为何需要非线性激活函数,推导并证明反向传播递推式,并以手算验证精确梯度与异或网络。

第 31 章 · 1 节

决策树

贪心的分类树与回归树,及代价复杂度剪枝。

定理 3 · 定义 2反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 31.1

    决策树:基尼不纯度、回归树与代价复杂度剪枝

    以贪心的轴向分裂生长分类树与回归树,证明分裂准则背后的凹性与方差下降恒等式,并精确计算代价复杂度剪枝。

Vercel 访问统计与公开页面性能测量分别征求同意,均非使用网站的必要条件。

网站功能存储(按需使用)

安全、登录和你选择的偏好会按需使用存储,与可选统计分开处理。

撤回会停止后续统计;需要卸载已加载的统计程序时,页面会刷新。已发送的数据不会因此删除。

查看 Cookie 与存储详情