反解精度的界
在一点的雅可比(Jacobi)矩阵可逆,配合逆函数定理的正则性假设,可以得到局部逆。若在凸区域上与某个固定可逆矩阵作一致比较,还能得到更强的结论:不同输入经过映射后,距离仍有确定的下界。同一不等式也能把输出残差转换为重建误差界。
本课以中值定理与泰勒单元、可微性单元和隐函数与局部求逆单元为基础。
向量输出需要不等式,而非共用的中间点
定义 4.5.1
(算子范数界)
对实矩阵 , 表示对所有向量 都有 ;算子范数就是这样的最小 。
引理 4.5.2
(向量中值不等式)
设 为凸集, 是由 的某个开邻域 映到 的 映射。若对所有 与 都有 ,则对所有 , 。
证明
(以标量投影证明向量中值不等式)
对 ,连接两点的线段仍在 内。若 ,所求估计立即成立。否则,令
标量中值定理给出 ,使
最后一步使用柯西–施瓦茨(Cauchy–Schwarz)不等式及 。这里没有断言各输出分量的中值等式都使用同一个中间点。投影是在端点差确定后选取的。
证明透视
为什么最后才选投影方向
这个证明把向量不等式化为标量不等式。 的凸性只用来保证整条线段都留在导数界成立的区域内。不显而易见的一步,是在知道端点差之后才选取单位向量 ,使 恰好等于范数本身,而不是它的某一个分量。柯西–施瓦茨再把 化为 的界。没有线段,导数界在中间点上毫无作用;没有投影,各分量就需要各自不同的中间点 。
因此,雅可比矩阵的一致算子范数界是上述结论的一个方便的充分条件。
仅有上界不能推出单射。常值映射导数为零,却把所有输入映到同一点。也不能仅凭导数界比较不同分支中的点:线段条件是关键。
反例模式
没有线段的导数界
取不是凸集的 ,并设 在 上为 ,在 上为 。 在开集 上属 且 ,所以 时 成立。但对 、,,而 。从 到 的线段离开了 ,导数界对它没有任何说明;这个不等式需要凸性。
减去一个固定线性映射
定理 4.5.3
(固定矩阵比较)
设 在凸集 附近属 , 是固定的 矩阵,且对所有 有 ,其中 。若对所有 有 ,则对所有 , 。特别地,若 ,则 在 上是单射。
证明
(对 F 减去线性映射后应用中值不等式)
设 在凸集 附近为 ,并选定一个固定方阵 。假设
对 使用前述不等式。其导数为 ,所以
假设常数 和 满足
由三角不等式及反三角不等式,得到
当 时,下界常数为正。因此 迫使 ,证明了整个 上的单射性。这是由一致估计得到的定量结论,而非仅从某一点的雅可比矩阵非奇异推出的结论。
实方阵可逆便能给出这样的 :可以取 。在具体对称矩阵例子中,把向量分解到相互垂直的特征方向上,通常可以给出更精确、清楚的计算。
例题 4.5.4
(恒等映射的小正弦耦合)
在 上设 。证明 是单射,并给出其逆的界。
取 ,则 。,对 有 ,所以在凸集 上 。因此对所有 有 。下界常数 为正,所以 是单射,其在 上的逆满足常数为 的 Lipschitz 条件。
逆映射结论究竟保证什么
推论 4.5.5
(Lipschitz 逆与可逆雅可比矩阵)
在固定矩阵比较的假设下,若 ,则 在 上的逆满足 ,而且对每个 有 ,所以 可逆。
证明
(把下界读成逆映射的界)
一旦 在 上为单射,逆映射便定义在其像 上。对于任意 ,下界给出
这证明了逆映射在其所述定义域上的 Lipschitz 界,但没有说明任意给定输出都属于该像。单射性与原像存在性是两个不同问题。
在每个 ,把同样的比较用于 ,得到
因此方形雅可比矩阵的核只有零向量,矩阵可逆。局部逆函数定理于是给出输出的一个开邻域及其中的 逆映射。这一局部结论本身既不能确定整个像,也不能说明任意远处的目标值均能达到。
常见错误
(由每点雅可比矩阵可逆推出单射)
对 ,雅可比行列式 处处非零,但 。逐点可逆只给出局部逆;要得到全局单射,需要凸集上像 这样的一致估计。
若定义域为闭集,边界点没有包含在该定义域内的开输入邻域。关于环境空间中映射的邻域定理,与关于它在闭集上的限制的定理,是不同陈述。
残差与重建误差
设未知但确实存在的精确输入 满足 。候选重建值 的残差为 。两点下界给出
残差在输出空间中度量,结论则在输入空间中度量。必须保留分母:当映射接近于压缩某个方向时,小输出误差也可能对应较大的输入误差。
该证书假设精确原像存在于受控区域中。若不存在,就没有可比较的 ,即使残差很小也一样。数值过程给出一个候选值,与关于已有解的误差证书,回答的是相关但不同的问题。
例题 4.5.6
(非单位矩阵下的残差证书)
设 ,定义在 上,未知的 满足 。候选 的残差为 。求 的界。
取 ,则 ,。 的算子范数至多为 。下界常数为 ,所以 。
常见错误
(除以最大伸长量)
上例的证书除以 ,其中用的是 的最小伸长量 ,而不是 。若用 ,会得到过小的 ,这个值并无根据。
充分估计失效时,单射性仍可能成立
若 ,所示下界变为零,不能证明点之间有正的分离量。这并不证明映射非单射。映射仍可能保持单射性,却以比线性更快的速率压缩某些很小的输入差。
相反, 的估计足够强,能在整个受控区域一致排除这种行为。
例题 4.5.7
(边界情形 )
设 上的 ,并取 。
此时 ,所以 ,下界常数 为 :比较不能证明任何分离。然而 严格递增,因此是单射。但它的逆并不稳定:对 , 而 ,所以不存在常数 使 对所有小 成立,逆映射 在 处不是 Lipschitz 的。
清单
- 写明用于比较的凸区域,以及映射在其中为 的开邻域。
- 使用一个固定矩阵 来控制 ,不能为每一对点另选矩阵。
- 证明矩阵的下界,并在声称有正分离常数前核实 。
- 通过标量投影证明向量范数估计;不要假设各分量共用一个中值点。
- 将逆映射的定义域写成实际的像。另行检查存在性。
- 使用残差估计时,精确输入与候选输入都必须位于导数界适用的区域内。
即时检查
快速检查
(在凸集上 ,其中 。由此得到什么下界常数和逆映射的 Lipschitz 常数?)
求 的最小伸长量。
解答 · 答案
,,所以 ,逆映射的 Lipschitz 常数为 。
快速检查
(用固定矩阵比较,证明 在 上是单射。)
取 。
解答 · 答案
,所以 ,而 。于是 ,故 时必有 。
快速检查
(候选 的残差为 ,且 。证书给出什么?它要成立必须满足什么条件?)
哪两个点必须位于受控区域内?
解答 · 答案
。只有在存在满足 的精确解 ,且 与 都位于 成立的凸区域内时,这个界才适用。