无限维单位球有界,却未必依范数紧致。在 中,坐标单位向量彼此保持固定距离,因而不存在范数收敛子列;但对任何固定的连续线性测量,这些向量的测量值都趋于零。弱收敛记录的正是后一种要求较低的收敛方式。
这一区别在最小化中很有用。有界的极小化序列未必具有范数收敛子列。我们将提取弱收敛子列,证明闭凸约束在弱极限下仍被满足,并找出保证极限能量不会增大的假设。每一步各有作用;单凭有界性,不能解决任意最小化问题。
数学前置条件与弱收敛
设 是实或复 Hilbert 空间,内积对第一个变量线性。本节使用以下数学事实:完备度量空间上的 Baire 定理;到闭子空间以及非空闭凸集的正交或最近点投影;有界线性泛函的 Riesz 表示;可分 Hilbert 空间中的标准正交坐标展开。特别地,凸集投影 对每个 都满足 。标准正交基指有限线性组合稠密的标准正交族。在子列提取中,只需在给定序列的可分闭张成空间中使用基的存在性与范数重建。这些是下列论证的明确数学输入;新的紧致性与最小化结论将在本节证明。
定义 2.5.1
(弱收敛)
若
就称 弱收敛到 ,记作 。由 Riesz 表示,这等价于每个有界线性泛函的值都收敛。检验向量必须在取极限之前固定,不能让它随 改变。弱极限唯一:把两个候选极限之差与自身作内积,便得范数为零。由 Cauchy–Schwarz,范数收敛蕴含弱收敛;反向结论将在第一个例子中失败。
常见错误
(检验向量必须固定)
在 中,单位向量满足 :对固定的 ,由于 ,有 。若用随 移动的向量 检验,则对每个 都有 ,但这与弱收敛并不矛盾。弱收敛是对每个固定测量的陈述,测量必须在取极限之前选定。
定理 2.5.2
(有界性与坐标判别)
弱收敛序列的范数有界。若 是标准正交基,则
基可以不可数,但统一范数上界不可省略。
证明
(以 Baire 定理得有界性,以有限逼近得收敛)
先设 。对每个 ,标量序列 有界。定义闭集
它们的并为 。由 Baire 定理,某个 包含开球 ,其中 。当 时, 与 都属于该球。把两个标量值相减,可得
对单位球中的向量取上确界,结果是 :上界来自 Cauchy–Schwarz,下界可沿该向量自身方向检验。因此 。坐标收敛则直接来自弱收敛定义。
反过来,设范数统一不超过 ,且坐标收敛到 的坐标。固定 与 ,选有限基向量组合 ,使 。于是
第一项只涉及有限个坐标,因而趋于零。令 就得弱收敛。这里对每个检验向量作有限逼近,并没有把一个可能不可数的基列举成序列。
提取弱收敛子列
定理 2.5.3
(Hilbert 有界序列具有弱收敛子列)
Hilbert 空间中的每个有界序列,都有弱收敛子列。不需要假设整个空间可分。若 ,提取得到的弱极限范数也不超过 。
证明
(在序列生成的空间中作对角线选取)
令 为 的闭张成空间。这个空间可分:取这些向量的有限有理系数组合,复情形取实部、虚部均为有理数的系数,就得到可数稠密子集。为 选有限或可数标准正交基。零空间情形显然;有限维情形只需有限次子列提取。可数无限情形则把基记为 。
每个坐标 都位于有界标量圆盘中。逐次提取子列,再作对角选择,得到子列 ,使每个坐标都有极限,记为 。对每个有限的 ,由 Bessel 不等式及有限项取极限,
所以 ,标准正交重建给出具有这些坐标的 ,且 。由有界坐标判别,子列在 中弱收敛。对任意 ,作分解 。所有 与 都在 中,与第二项的内积为零。因此,对环境空间 中的每个检验向量,收敛也成立。
证明透视
序列生成自己的可分空间
不可分 Hilbert 空间可以具有不可数标准正交基,无法用一条对角子列逐一处理全部坐标。证明改为进入给定序列的闭张成空间,而这个子空间总是可分的。在其中提取后,再用正交投影把每个环境检验向量带回这个较小空间。这是针对序列的证明,并没有把序列紧致性与任意弱拓扑中的拓扑紧致性悄悄等同起来。
哪些约束与能量在极限下保留?
定义 2.5.4
(下半连续性与凸性)
若 依范数成立时总有 ,就称函数 范数下半连续。等价地,对每个实数 ,其次水平集 都范数闭。若
就称它凸,右端采用通常的扩展实数解释。若同样的下半连续不等式对弱收敛序列成立,就称其为弱序列下半连续。“序列”一词明确限定了这里所证明的结论。
定理 2.5.5
(弱极限保留闭凸约束与凸下界)
若 范数闭且凸, 弱收敛到 ,则 。此外,
若 凸且范数下半连续,则它弱序列下半连续。另一个独立的范数结论是:若 并且 ,则 依范数成立。
证明
(以投影分离,再用下水平集)
空约束集的情形没有需要证明的内容。若 非空,假设 ,令 、。投影不等式说明,对所有 ,有 。但是弱收敛会给出
矛盾。因此 。这正是投影几何提供的、能够把点与约束分开的测量。
为证明范数下界,当 时,用 检验,并利用 。左端标量趋于 ,所以得到所需下界;若 ,结论显然。
对能量结论,每个次水平集 都闭且凸。记 。若 ,无需证明;若 有限,取函数值趋于 的子列。对每个 ,其尾部都属于 ,并仍弱收敛到 ,所以 。令 即得结论。若 ,可选一条子列,使它对每个 都最终落入其中,从而对所有实数 都有 ,与所定值域矛盾。因此,沿弱收敛序列不可能出现这一情形。最后,在范数收敛时使用
就得到最后一个结论。
证明透视
闭凸集由固定的测量切出
决定性的一步,是用一个固定的检验向量 把 外的点分隔开:每个 都有 ,而 给出 。弱收敛所控制的恰好是这类固定检验,因此极限不能离开 。凸性只通过投影不等式起作用,完备性只通过 的存在起作用。能量部分不需要新想法:凸且下半连续的能量具有闭凸的次水平集,沿着实现下极限的子列,对每个次水平集应用约束的结论即可。
常见错误
(范数闭性与范数连续性并不足够)
只有范数闭性,并不足以控制约束:无限维 的单位球面包含每个坐标单位向量,却不包含它们的弱极限零。只有范数连续性,也不足以控制能量: 连续,但 。所以定理中的凸性具有实际作用。
最小点存在的直接证明
定义 2.5.6
(正常函数与有界下水平集)
若函数 在某处有限,且从不取 ,就称其为正常函数。若每个实数 对应的 都有界,就称其次水平集有界;当有效定义域无界时,这就是通常的强制性条件: 时 。
定理 2.5.7
(Hilbert 空间中的直接方法)
设 正常、凸且范数下半连续。假设 ,并且每个次水平集都有界,则 取到其下确界。若 在有效定义域 上严格凸,最小点唯一。
证明
(极小化序列及其弱极限)
正常性与下界保证 是有限实数。选取函数值有限的极小化序列,使 。一个尾部落在 中,所以有界。提取弱收敛子列 。由前一定理,,故 。若存在两个不同最小点,严格凸性将使它们的中点具有更小值,矛盾。
对非空闭凸约束 ,设 凸且相对范数下半连续,在 上取 ,在 外取 。这个扩展函数凸且范数下半连续。若要使用存在性定理,还需 中有能量有限的点、,并且对每个实数 ,集合 都有界。约束本身的闭性与凸性不会自动提供这些附加条件。
概念视角结构
极限成为最小点的三个不同理由
有界次水平集提供弱收敛子列;闭凸次水平集保证取弱极限时能量不会增加;若另有严格凸性,它再排除第二个最小点。存在性、约束保留与唯一性因此来自不同假设。只检查了有界性的证明,仍没有回答核心的极限传递问题。
例题
例题 2.5.8
(单位向量在固定测量下趋于零)
在 中,令 为坐标单位向量。固定 ,其坐标趋于零,所以 。因此 。然而 ,且当 时 ,所以没有任何子列依范数收敛。如果使用移动的检验向量 ,内积会等于一;这不与弱收敛矛盾,因为检验向量没有固定。
例题 2.5.9
(未取到的最小二乘下确界与正则化)
在 上令 ,并取 。能量 连续、凸且非负。其下确界为零:取 的前 个坐标为一,其余为零即可。但零不可能取到,因为 会迫使每个 ,这不平方可和。极小化序列的范数为 ,次水平集有界性失效。
对 ,定义 。其次水平集有界,函数连续且严格凸,直接方法因而给出唯一最小点。事实上,
该向量属于 ,因为坐标平方不超过 。它满足坐标方程 。展开能量并消去交叉项,得到对任意 都成立的恒等式
交叉项为 ,等于零来自所示坐标方程;其级数收敛由 Cauchy–Schwarz 保证。这个恒等式直接验证最小点并量化稳定性。新增项提供了原来缺少的有界性,而没有声称未正则化方程因此获得了精确解。
例题 2.5.10
(范数闭且有界的约束仍可能丢失极限)
在单位球面 上,最小化
这个能量在环境空间上范数连续、非负且凸,因为它是有界对角映射 的范数平方。由 ,它在 上的下确界为零。但每个 都满足 ,所以下确界不能取到。该序列有界且弱极限为零,零却不满足约束。球面范数闭,但不凸,也不弱序列闭;有界性不能代替约束假设。若改成闭单位球,零点便可行,并取到最小值零。
反例模式
在任意 Banach 空间中,有界并不保证弱子列
在 中,坐标单位向量的范数都是一。任取候选子列 ,定义有界标量序列 :令 ,其余取零。泛函 在 上有界,且 。它在所选子列上的值交替变化,因此该子列不可能弱收敛。对每条子列都能这样构造,故整个序列没有弱收敛子列。Hilbert 提取定理不是适用于所有 Banach 空间的定理。
练习
快速检查
(在 中,令 。证明每个固定坐标都趋于零,但序列不弱收敛。找出一个固定的平方可和检验向量来显示失败。)
解答 · 答案
的每个坐标最终都为零。但对固定向量 ,每个 都有 。若存在弱极限,它的所有坐标必须为零,因而等于零,与这个检验矛盾。序列范数也等于 ,违反弱收敛所必需的有界性。
快速检查
(若 ,且 为有限维子空间,证明 依范数成立。对任意闭无限维 ,是否仍有同样结论?)
解答 · 答案
取 的标准正交基 。 的范数平方为 ;有限项中的每一项都趋于零,所以其和也趋于零。对任意闭无限维子空间 ,可逐次选择位于先前有限张成空间之外的向量,把其垂直余项归一化,得到 中的标准正交列 。由 Bessel,对每个 都有 ,所以 。但 的范数为一,并不依范数趋于零。该结论依赖检验数目有限,而不仅仅依赖闭性。
快速检查
(设 是 Hilbert 空间之间的有界线性映射。证明弱收敛蕴含 。若 紧致,证明 蕴含 依范数成立。)
解答 · 答案
对 ,泛函 在 上有界且线性。由 Riesz,它是一个内积检验,所以 ,即得到弱连续性。若 紧致,由弱收敛序列有界可知 依范数相对紧致。若它不依范数收敛到 ,就有某个子列与 的距离始终至少为某个 。由紧致性,该子列又有范数收敛子列,设极限为 。范数收敛蕴含弱收敛,而已经证明的弱连续性迫使 ,矛盾。因此整个像序列依范数收敛。
快速检查
(对最小二乘例子,证明未正则化能量虽然没有最小点,却仍弱序列下半连续。精确指出直接方法的哪个假设缺失,并证明当 时 。)
解答 · 答案
因为 有界、范数平方连续且凸,未正则化能量处处有限、凸且范数连续。因此它正常、以零为下界,并且弱序列下半连续。存在性缺少的假设是次水平集有界;存在性本身不要求严格凸。截断向量 的范数无界,能量却趋于零,所以某个固定的正次水平集包含无界尾部。对任意固定正整数 ,当 时, 的前 个坐标都趋于一,故 。由于 任意,范数趋于无穷。这不与每个固定正则化参数下所得到的有界性矛盾。
快速检查
(设 在 处取到有限最小值,且存在 ,使对 与能量有限的 ,都有 。证明:对能量有限的 ,有 。由此推出每条能量趋于最小值的序列都依范数收敛。上述 可以使用哪个常数 ?)
解答 · 答案
取 、,由最小性,左端不小于 。整理并除以 ,得到 。令 即得结论。因此,有限能量趋于最小值的序列必依范数收敛到 。同一估计也保证最小点唯一,因为第二个最小点到 的距离只能为零。对 ,展开范数平方可得凸性差为 ,所以可以取 。所得距离估计与例题中的明确能量差一致。
精确边界
本节证明的紧致性结果,是 Hilbert 有界序列的弱子列提取。我们没有证明一般弱拓扑紧致性、任意自反 Banach 空间中的对应理论、弱星紧致性或谱定理。最小化结果要求所列凸性、下半连续性与次水平集有界性;它不保证数值算法收敛,也不保证非凸约束下最小点存在。这些限制已在反例中具体显示,而不是被一句紧致性口号掩盖。