即使存在向量序列 使 ,方程 仍可能无解。有限维线性映射的值域总是闭的,因此容易忽略这一区别。在 Hilbert 空间中,它决定精确解是否存在、最小二乘问题能否取到最小值,以及逼近数据是否需要越来越大的解。
全文中 为实或复 Hilbert 空间, 为有界线性算子,内积对第一变量线性。其伴随满足 。由连续性,核是闭的;值域却不一定闭。我们使用 Hilbert 空间投影定理与有界逆定理,包括它们通常的完备性假设。
正交性确定值域的闭包
命题 2.2.1
( 的值域与 的核)
同理 。
证明
(两次取正交补)
与所有 正交,当且仅当每个 都满足 ,这等价于 (取 ),故得第一个等式。对 Hilbert 空间的任意子空间 ,有 :投影到 可知,与 正交的向量在 上的分量为零。对第一个等式取正交补即得第二个等式。对 应用它并使用 ,得到最后一个公式。
一般不能省略闭包。与 正交意味着 可以用输出逼近,但仅凭这一点不能断定存在 恰好映到 。
值域闭的定量判据
令 。每个 都唯一分解为 ,其中 、。此外 ,且 。因此 去除了核造成的不唯一性。
定理 2.2.2
(闭值域判据)
闭,当且仅当存在 ,使每个 都满足
证明
(核的正交补上的有界逆)
若值域闭,它就是 Hilbert 空间。将 限制为 ,得到两个 Banach 空间之间的有界双射: 给出单射,上述分解给出满射。由有界逆定理,存在 使 ;由于 且 ,取 即得估计。
反过来,假设估计成立且 在 中收敛。将每个 换成其在 中的分量 ,像不变。由于 ,它到 的距离就是其范数,故对所有 ,
因此 为 Cauchy 序列,收敛到某个 ;由连续性,。值域元素的每个极限仍在值域内,因此值域闭。
证明透视
为什么必须考虑核
的下界无法控制被 消去的分量。先投影到 ,限制映射便成为单射。值域闭使其完备,从而可应用有界逆定理;反过来,下界把输出的 Cauchy 序列转化为这些标准原像的 Cauchy 序列。
估计控制的是到核的距离,这个限定并非可有可无。
常见错误
(用范数代替到核的距离)
判据并不是 。若 的核非零,加上任意大的核向量并不改变 ,所以这样的下界不可能成立,即使值域很可能是闭的。只有 单射时,到核的距离才等于 。
例题 2.2.3
( 上带核的泛函)
令 ,。其核是 张成的直线,而 由 张成。 到核的距离是它沿 方向分量的长度:
判据以 成立,与 为闭一致。但不存在 使 ,因为 给出 。
伴随的值域同时闭
定理 2.2.4
(闭值域定理)
闭当且仅当 闭。
证明
(把下界转移到伴随)
假设 闭。由前述判据,每个 都有唯一的 满足 、。因此
故 , 的平凡情形也成立。值域闭时 。将任意 分解为 ,其中 、。于是 ,且 。故上述下界给出对任意 都有 ,由 的判据知 闭。反向对 使用相同论证,并利用 即得。
该结果是定性的等价。
常见错误
(值域闭不等于满射或可逆)
闭值域定理并不表示 满射、可逆或紧致。闭值域可以是真子空间,值域闭的算子也可以有非零核;下一个例子同时具备这两个特点。
例题 2.2.5
( 上的两个移位算子)
右移算子 满足 ,所以判据以 成立; 由首坐标为零的序列组成,是闭的真子空间。由
其伴随是左移算子 。此时 ,且 ,所以 也以 满足判据。事实上 是满射但非单射, 是单射但非满射。
最佳逼近与正规方程
定义 2.2.6
(最小二乘解与正规方程)
对 ,若 满足 ,则称 为 的最小二乘解。方程 ,即 ,称为正规方程。
定理 2.2.7
(最小二乘与闭值域)
是 的最小二乘解,当且仅当它是正规方程的解。若 闭,则每个 都有最小二乘解;这些解构成 的一个平移,其中恰有一个属于 ,即范数最小者。反过来,若每个 都有最小二乘解,则 闭。
证明
(投影到值域与勾股定理)
若 是正规方程的解,则对每个 ,残差 垂直于 ,因为 。勾股定理给出
所以 是最小二乘解,而 也是最小二乘解当且仅当 。反过来,若 是最小二乘解,则对每个 ,实变量函数 在 处取最小值,其导数 为零;在复情形把 换成 ,虚部也为零。因此 ,这正是正规方程。
设 闭。投影定理给出唯一的 使 最小;任何满足 的 都是最小二乘解,故解集为 。它与 恰交于一点 ,而对 有 ,所以 范数最小。最后,假设每个目标都有最小二乘解,并设 。则 ,故最小二乘解满足 。因此 ,值域闭。
例题 2.2.8
(带核的最小二乘问题)
令 为 ,。这里 ,正规方程为 ,所以每个最小二乘解都有 ,而 任意。投影后的输出是 ,最小残差为 ,范数为 ;最小范数解为 ,它属于 。正规方程确定整个解族,但不确定核分量。
概念视角结构
把最小范数最小二乘解看成一个有界算子
当 是闭的时候,把 映到其最小范数最小二乘解 的规则本身就是一个有界线性算子,称为 的伪逆。设 是到 的正交投影, 是限制后的双射,则
其中 是值域闭判据中的任一常数。若 还是单射,则 使自伴算子 有下界,从而可逆,而正规方程给出 。
稠密值域仍可能遗漏目标
没有闭值域,上一定理便以最具体的方式失效。
反例模式
下确界为零却从未取到
诱人的说法是:既然投影定理给出最近点,Hilbert 空间中的最小二乘问题总有解。在 上定义 。它有界且单射。每个有限支撑序列都在其值域中,故值域稠密。但 不在值域:原像的每个坐标都必须是 ,因而不平方可和。截断 属于值域,且 ,所以 ;可是取到零就等于解出不可能的方程 。投影定理是投影到闭子空间;修正正是 闭这个假设,而这里它不成立。
这些截断的标准原像为 ,范数按 增长。这不与 的连续性矛盾;其在值域上的逆是无界的。事实上 的范数为一,但其原像范数为 ,因此该逆也不可能有有界延拓。
对该目标,正规方程也无解。事实上 自伴且单射,故 会推出 。下确界可以存在,但既无精确解也无最小二乘解。
练习与解答
快速检查
(令 为 上的右移算子,求 并验证 。)
使用左移算子的公式。
解答 · 答案
,其核为 的张成空间。 的值域是首坐标为零的序列,其正交补正是同一张成空间。
快速检查
(若 单射且存在 满足 ,证明值域闭。它必须等于整个 吗?)
把输出的 Cauchy 序列追溯到其原像。
解答 · 答案
若 ,则 ,所以原像是 Cauchy 序列,收敛到某个 ;由连续性 ,故极限属于值域。它不一定是满射:右移是值域为真子空间的等距映射。
快速检查
(对 、 及 ,求正规方程的解并确定最小范数解。)
先求 ;它把标量 映到 。
解答 · 答案
,所以解集是直线 ;由于 ,每个解都是精确解。最小范数解属于 ,故为 ,范数为 。
快速检查
(对对角算子 ,计算 ,并说明为什么不存在正下界 。)
比较 与 。
解答 · 答案
而 。由于 单射,其核为零,到核的距离就是 ;若有下界 ,便对每个 有 ,这不可能。