跳到正文

MATH3340

机器学习理论

泛化与 VC 维数、算法稳定性、凸优化与随机优化、核方法与随机特征、神经网络的近似与训练,以及模型选择。

21 章 · 21 节EN · 繁 · 简
我的课程笔记

你的进度

0/ 21 节已标记完成

下一节: 1.1 经验风险与假设类的大小

完成记录保存在此浏览器中。

这门课在网上

MATH3340 笔记里的内容

定理卡
42
定义
23
反例
25
概念视角
11
思想史
3
证明透视
24

有思想史的节

这些思想史还没有放上时间线。

这门课的概念视角还没有记录到网上。

在知识图谱中打开这门课

数字只算这门课 21 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。

在网上定理卡 42 · 定义 23 · 反例 25 · 概念视角 11 · 思想史 3 · 证明透视 24

这些思想史还没有放上时间线。

这门课的概念视角还没有记录到网上。

在知识图谱中打开这门课

数字只算这门课 21 节公开笔记里写了什么,不是网上已记录的关系。目前其中 0 节已细致地记录到网上。

第 1 章 · 1 节

泛化与复杂度

分清拟合与泛化,证明有限假设类及 Rademacher 界,并以覆盖数近似无限假设类。

定理 3 · 定义 1反例 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 1.1

    经验风险与假设类的大小

    分清拟合与泛化,证明有限假设类及 Rademacher 界,并以覆盖数近似无限假设类。

第 2 章 · 1 节

学习的优化方法

证明光滑梯度下降及投影随机梯度界,计算曲率与噪声的影响,并分清优化与泛化。

定理 2 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 2.1

    下降法、随机梯度与优化误差

    证明光滑梯度下降及投影随机梯度界,计算曲率与噪声的影响,并分清优化与泛化。

第 3 章 · 1 节

表示与选择

推导核岭回归,构造单变量 ReLU 近似,并分析梯度下降在过度参数化线性模型中选出的解。

定理 3 · 定义 1反例 2视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 3.1

    核方法、ReLU 近似与最小范数拟合

    推导核岭回归,构造单变量 ReLU 近似,并分析梯度下降在过度参数化线性模型中选出的解。

第 4 章 · 1 节

4.1 集中、压缩与链式估计

把绝对 Rademacher 平均转化为高概率保证,证明损失压缩,并建立常数明确的有限尺度熵链。

定理 2 · 定义 1反例 2证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 4.1

    集中、压缩与链式估计

    把绝对 Rademacher 平均转化为高概率保证,证明损失压缩,并建立常数明确的有限尺度熵链。

第 5 章 · 1 节

5.1 构造再生核 Hilbert 空间

由半正定核建立函数 Hilbert 空间,证明完备化与再生步骤,并推导插值及归一化岭学习。

定理 2 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 5.1

    构造再生核 Hilbert 空间

    由半正定核建立函数 Hilbert 空间,证明完备化与再生步骤,并推导插值及归一化岭学习。

第 6 章 · 1 节

6.1 构造多变量神经近似

用张量帽函数及 ReLU 乘法建立多变量近似,追踪误差与网络大小,并证明有限区域的限制。

定理 2 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 6.1

    构造多变量神经近似

    用张量帽函数及 ReLU 乘法建立多变量近似,追踪误差与网络大小,并证明有限区域的限制。

第 7 章 · 1 节

7.1 Jacobian 稳定性与非线性训练

用 Jacobian 稳定性、路径长度、梯度流及离散下降,证明光滑非线性最小二乘的局部至整体拟合保证。

定理 2 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 7.1

    Jacobian 稳定性与非线性训练

    用 Jacobian 稳定性、路径长度、梯度流及离散下降,证明光滑非线性最小二乘的局部至整体拟合保证。

第 8 章 · 1 节

8. Logistic 分类

研究经验 Logistic 损失、凸性及可分性。

定理 2 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 8.1

    Logistic 损失、凸性与可分性

    推导 Logistic 梯度与曲率,区分凸性和最小值的达到。

第 10 章 · 1 节

算法稳定性

以替换一项恒等式证明期望泛化,控制正则化最小点及耦合梯度迭代,并分清优化、统计及惩罚误差。

定理 2 · 定义 1反例 1证明透视 2

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 10.1

    替换一项稳定性与正则化学习

    以替换一项恒等式证明期望泛化,控制正则化最小点及耦合梯度迭代,并分清优化、统计及惩罚误差。

第 11 章 · 1 节

核分类

推导铰链损失的有限表示、软间隔对偶与支持向量证书,并明确区分截距约定。

定理 2 · 定义 1反例 1视角 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 11.1

    核分类:铰链损失、对偶与支持向量

    证明铰链损失的有限表示及最小值取得,推导软间隔对偶与强对偶,并用精确例题解读奇异 Gram 矩阵。

第 12 章 · 1 节

随机特征核近似

证明无偏半正定 Gram 近似、有限数据集中及岭扰动界,分清计算与统计误差。

定理 2 · 定义 1反例 1视角 2思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 12.1

    随机特征:有限 Gram 近似与岭回归扰动

    构造无偏且半正定的随机特征 Gram 矩阵,证明有限数据集中界,并以明确失效例子量化对岭回归预测的影响。

第 14 章 · 1 节

地标核近似

以特征投影、奇异区块矩阵与可验证残差凭证,解释有限 Nyström 近似。

定理 2 · 定义 1反例 1视角 1思想史 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 14.1

    Nyström 近似:地标张成空间与半正定残差

    把有限 Nyström 近似推导为特征投影,以伪逆处理奇异地标矩阵,并用明确失效例子证明残差与 Schur 补的性质。

第 15 章 · 1 节

替代风险与分类

把条件 Bayes 决策与铰链、逻辑斯风险联系起来,再追踪近似、估计及优化误差。

定理 2 · 定义 2反例 2证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 15.1

    从替代损失到 Bayes 分类

    证明 Bayes 超额风险恒等式及铰链、逻辑斯损失的校准不等式,再分清分类保证中的统计、优化与近似误差。

第 16 章 · 1 节

核方法的杠杆分数抽样

证明有限岭杠杆地标抽样保证,并理解其限制。

定理 1 · 定义 1反例 1视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 16.1

    用岭杠杆分数抽样选择地标

    利用岭杠杆分数和二阶矩方法,证明有限样本地标近似保证。

第 17 章 · 1 节

VC 维数与学习

计算分类器模式,并联系打散与一致学习。

定理 2 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 17.1

    打散、增长函数与一致学习

    以 Sauer–Shelah 引理计数标记模式,并推导有限分类器族的一致收敛界。

第 18 章 · 1 节

随机凸优化

追踪投影中的条件噪声,证明凸平均界,并以完整相消的加权平均得到强凸速率。

定理 2 · 定义 2反例 2视角 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 18.1

    投影随机梯度与加权凸收敛率

    追踪投影中的条件噪声,证明凸平均界,并以完整相消的加权平均得到强凸速率。

第 19 章 · 1 节

提前停止与风险

分析谱滤波和固定设计下的偏差—方差权衡。

定理 1 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 19.1

    提前停止、谱滤波与预测风险

    推导梯度下降在固定设计下的偏差—方差权衡,并比较它与岭回归的谱滤波。

第 20 章 · 1 节

验证与模型选择

在独立训练的预测器中作选择,并理解留出法保证的限制。

定理 2 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 20.1

    用独立验证数据选择预测器

    证明有限候选模型的留出法选择界,并考察数据泄漏和测试集重用。

第 21 章 · 1 节

条件数与下降法

分析强凸性与光滑性下的梯度下降。

定理 2 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 21.1

    强凸性、条件数与梯度下降

    证明光滑强凸目标的线性收敛率,理解曲率如何限制步长。

第 22 章 · 1 节

反向传播

使用链式法则计算神经网络的导数。

定理 2 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 22.1

    以链式法则理解反向传播

    推导并计算双层神经网络的梯度,了解 ReLU 在转折点的微分限制。

第 23 章 · 1 节

随机梯度收敛

研究无限时间范围内递减步长的随机梯度迭代。

定理 2 · 定义 1反例 1证明透视 1

本章骨架 →在网上看本章 →本章还没有记录到网上

  1. 23.1

    递减步长与几乎必然收敛

    解释持续修正与平方可和的噪声如何使投影随机梯度法收敛到强凸最小点。

Vercel 访问统计与公开页面性能测量分别征求同意,均非使用网站的必要条件。

网站功能存储(按需使用)

安全、登录和你选择的偏好会按需使用存储,与可选统计分开处理。

撤回会停止后续统计;需要卸载已加载的统计程序时,页面会刷新。已发送的数据不会因此删除。

查看 Cookie 与存储详情