动机
Gram 矩阵让我们在有限观察上计算核,但学习程序最后须交出一个可在新位置评估的函数。要理解其范数,就要建立一个包含核截面及其极限的空间。只说“存在一个合适 Hilbert 空间”,仍留下两个问题:半正定函数为何决定良好的内积?把空间完备化后,所得为何仍是真实函数,而不是无法逐点解读的抽象对象?
构造从核截面的有限形式组合开始,先除去长度为零的向量,再取 Cauchy 序列的极限。评估在完备化前已连续,所以可以延伸到极限。再生恒等式一方面识别这些极限的函数值,另一方面保证不同抽象向量不会代表同一函数。这是泛函分析支持计算方法的一个具体例子。
后面的优化包含两种几何:正交投影说明惩罚为何消去所有观察不到的分量;有限 Gram 矩阵的特征值则描述正则化如何改变拟合值。尤其在奇异情况,函数范数与任意系数表示的欧几里得(Euclid)范数必须分清。
定义
定义 5.1.1
(核截面与形式双线性型)
设 为任意集合, 对称且半正定,即每个有限 Gram 矩阵的二次型非负。引入形式符号 ,令 包含它们的有限线性组合,定义
相同指标的系数按通常向量空间规则合并。半正定性给 ,却未保证非零形式向量有正长度。
令 。商向量 表示相差一个 中向量便视为相同。再以这些商向量的 Cauchy 序列建立完备化;若两序列之差的范数趋零,便代表同一极限。有限核张成空间未必完备,这些步骤不能省略。
函数 Hilbert 空间 若包含 ,且每个 均满足 ,便以 为再生核。特别地,每个固定点的评估是连续线性泛函。定义没有要求所有位置共享同一评估界,该界可以随位置改变。
定理/命题
定理 5.1.2
(再生空间的构造与唯一性)
每个实对称半正定核决定一个函数 Hilbert 空间 ,其中
核截面的有限线性张成在其中稠密。任何具相同再生核的函数 Hilbert 空间,都经保持函数值的等距同构与它相同。
定理 5.1.3
(观察张成、插值与归一化岭方法)
对数据 ,令 、。若经验目标只依赖 ,并加上随 严格增加的惩罚,则每个已存在的最小点均位于 。对 ,
有唯一最小函数,标准系数为 。精确插值当且仅当 。此时唯一最小范数插值函数可用系数 表示,平方范数为 。
存在性只在这里对平方岭目标断言,不适用于任意经验损失及惩罚。一般严格增加的惩罚只给“若最小点存在,则位于有限张成”的结论。若核对不同点的非零系数都给严格正二次型,便称严格正定;此时不同观察点的 Gram 矩阵可逆。半正定本身不足以保证这点。
证明思路
证明
(商空间、函数与完备化)
取商前也能证明 Cauchy–Schwarz。多项式 对每个实 非负。若 ,最小化此二次式得到 。若 ,一次项必须为零,否则某方向会取负值;故它与所有向量配对均为零。于是 是子空间,改换商类代表不会改变双线性型,商空间上终于得到真正内积。
把商向量映到函数 。零向量与所有符号配对为零,所以映射良定;Cauchy–Schwarz 同时给评估界。它亦单射:若函数处处为零,写 ,便有 ,故 。符号 对应的正是核截面,因 。我们已建立真正的函数内积空间。
现在完备化。两个 Cauchy 序列 的范数有界,Cauchy–Schwarz 使 为 Cauchy 数列,故可用其极限定义新内积。改为等价序列不影响极限;若极限范数为零,正是与零序列等价,因而正定。要直接检查完备性,可从一个完备化向量的 Cauchy 序列中,逐项选有限张成近似,误差不超过 ;这些近似形成 Cauchy 序列,便代表所求极限。
对固定 ,评估界令 收敛,于是以其极限定义 ;等价序列给同一值。把有限张成的再生恒等式取极限,得到 。还须检查单射:若所有值均零,该向量与每个核截面、因此与稠密有限张成都正交。用该张成近似向量自身,就得其平方范数为零。故完备化后的抽象向量确实被函数值唯一识别。截面范数公式由其自身内积直接得到。
证明透视
完备化增加什么,又保留什么
半正定性只用了一次:它使 成为非负二次函数;商空间一步的一切,包括零长度向量与任何向量配对为零,都来自由此得到的 Cauchy–Schwarz 不等式。对称性使 是对称形式,所以商空间带有真正的内积。关键一步是评估界 :它使每个固定点处的评估连续,函数值便可以传到核范数下的 Cauchy 极限。因此完备化增加的是核范数下的 Cauchy 极限,并非任意逐点极限;范数收敛推出逐点收敛,反向却通常不成立。论证最后由稠密张成一步完成,它排除“非零向量但全部函数值为零”的情况。单靠逐点定义,并不能建立忠实的 Hilbert 空间表示。
证明
(再生空间的唯一性)
唯一性方面,在两个候选空间识别相同有限核组合。内积均为同一有限 Gram 和,故此识别等距。截面在任一空间均稠密:与全部截面正交的函数处处为零,故就是零向量。沿 Cauchy 序列延伸便得满射等距同构,评估连续性保证各函数值不变。
第二个定理关乎有限的观测张成空间,只需要投影与有限维线性代数。
证明
(投影、岭回归与插值)
学习方面, 有限维故闭。作正交分解 ,其中 ,则 ,而 。移除非零 保留训练值并严格降低惩罚。平方岭目标在 上连续且强制,最小化序列有界并有收敛子列;范数平方严格凸,所以最小函数唯一。Hilbert 空间微分给
取 ,得到 ,即使 奇异仍有正定矩阵。若直接对任意系数微分,只会得 ,不能无理由约去奇异的 。
精确插值化为 ,正交余项不能改变观察值。在正交特征基底 中,正特征值坐标可以除,零特征值对应的标签坐标则必须零;这正是值域条件。 给有限张成中的函数。加入 系数不改变函数,因其核范数为零;加入非零正交函数则增加范数。因此最小范数插值函数唯一,平方范数为所述二次型。
谱正则化是函数空间结论
岭拟合值在第 个特征方向为 。小正特征值收缩较多,零方向不能拟合。当惩罚趋零,拟合值趋向标签在值域的投影;可插值时函数趋向最小范数插值器。若标签有不相容的零方向,标准系数可能在该方向发散,却始终表示零函数。这正说明系数长度不能代替函数范数。
例题详解
例题 5.1.4
(完备化确实带来新函数)
在 上取 为相同指标时一,否则零。有限核组合就是有限支撑序列,范数是通常欧几里得范数;完备化给出 。因 ,函数 属于其中,有限截断在范数下收敛。评估第 项就是与坐标向量的内积。反之,常数一虽是其有限截断的逐点极限,却不在 ,因截断并非核范数 Cauchy。
例题 5.1.5
(常数核分开系数与函数)
令 ,两个标签为 。空间只有常数函数,Gram 矩阵全部为一,标签不在其一维值域,故不能插值。取 ,标准系统两行为 ,解为 。所得常数为 ,与直接最小化 相符。系数加上 不改变函数,平方 Hilbert 范数只由其和 决定,为 。
概念视角结构
由特征映射读出的空间
设 ,其中 是特征映射,并令 为所有 张成的空间。则 ,而 是从 到 的满射等距映射,把 映为 ,因为两边的内积都是 。与 正交的向量不改变任何函数值,因此 是表示 的 的最小欧氏长度。
例题 5.1.6
(有限多项式特征)
核 的特征是 。这三个函数在实线线性无关,故空间为二次多项式 ,平方范数 。在二的评估范数为 ,因对角核值是 。不等式 在系数与 成比例时取等号,显示评估界精确。
常见错误
反例模式
条目正不表示核半正定
两点集合上,令对角条目一、非对角二。所有相似度均正,但系数 的二次型为负二,起始双线性型不非负,构造立即失败。对称及非负对角是必要条件,却不充分。
常见错误
(把完备化当作对逐点极限封闭)
完备化只加入在核范数下为 Cauchy 的序列的极限。在 核例子中,常数一函数的截断序列逐点收敛,但并非 Cauchy 序列,而常数一函数也不在 内。同样,再生空间未必包含定义域上的全部连续函数。
常见错误
(把奇异 Gram 矩阵读成函数不唯一)
奇异的 不会使正则化函数不唯一,它可能只表示冗余的系数代表同一个函数:在常数核例子中, 与 给出同一个常数 。
来自平均损失,改成 便改了问题。这些代数结论本身也不提供总体泛化速率。
总结
半正定性给半范数;商空间移除零向量;完备化补足 Cauchy 极限;有界评估及稠密截面识别真实函数。再投影到观察张成,便可有限维地处理插值与岭学习,同时保留正确的函数范数。
练习
快速检查
(证明 蕴涵对所有 有 。)
对截面 与 使用 Cauchy–Schwarz 不等式。
解答 · 答案
截面的 Cauchy–Schwarz 给 ,故整行整列消失。亦可用两点二次型对每组系数均非负直接证明。
快速检查
(常数核配标签 ,求最小范数插值器及其平方范数。)
求全一矩阵的值域及其伪逆。
解答 · 答案
唯一可插值常数为二,平方范数为四。此时 ,故系数为 ,二次型 。任何系数和为二的表示都是同一函数。
快速检查
(若 Gram 特征值 ,求拟合值收缩因子;零特征值时如何?)
收缩因子是 。
解答 · 答案
因子为 。零特征值的拟合分量为零,与标签分量无关。正则化使系数系统可解,却不能创造欠缺的函数方向。
快速检查
(在自然数的 核空间,比较有限截断常数一与有限截断 的收敛性。)
计算每个序列中两项之间的核范数距离。
解答 · 答案
两者均逐点收敛。常数截断的平方范数为 ,任意不同截断 的平方距离为 ,故不 Cauchy。 的截断平方尾距离由 控制,故在核范数收敛。逐点收敛本身不能判断极限是否属于空间。