4. 内积与正交投影

所有空间均为 $\mathbb R$ 或 $\mathbb C$ 上的有限维空间。

内积各单元中 $F=\mathbb R$ 或 $\mathbb C$，并约定 $\langle u,v\rangle$ 对第一个变数线性、对第二个变数共轭线性。另一惯例会使某些系数次序相反，计算前须先确定惯例。

定义

内积与正交

内积满足共轭对称性 $\langle u,v\rangle=\overline{\langle v,u\rangle}$、第一变数线性，以及对 $v\ne0$ 有 $\langle v,v\rangle>0$。令 $\|v\|=\sqrt{\langle v,v\rangle}$。内积为零的向量称为正交。对 $U\subseteq V$，$U^\perp=\{v:\langle v,u\rangle=0\ \forall u\in U\}$。

对 $w\ne0$，令 $\alpha=\langle v,w\rangle/\|w\|^2$。展开 $\|v-\alpha w\|^2\ge0$ 得到柯西–施瓦茨不等式

$$|\langle v,w\rangle|\le\|v\|\|w\|,$$

取等当且仅当 $v,w$ 线性相关。展开 $\|v+w\|^2$ 并用该界估计交叉项，便得到三角不等式。这里正定性不可缺少，仅有对称性不够。

Gram–Schmidt 将线性无关列表 $v_1,\ldots,v_k$ 转为张成相同逐次子空间的标准正交列表：

$$w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|.$$

每个 $w_j$ 都与之前的 $q_i$ 正交且非零；否则 $v_j$ 属于前面向量的张成空间。零输入或线性相关输入要求舍去向量，而不是除以零。

下列展开计算以 $e_i$ 表示共享论证中记为 $q_i$ 的正交归一向量。

证明

两个论证

若 $v\ne0$，由 $\|u-\langle u,v\rangle v/\|v\|^2\|^2$ 非负得柯西–施瓦茨不等式；等号恰在余项为零时成立。$v=0$ 时等号及相关性显然。Gram–Schmidt 的每个余项都与之前的 $e_i$ 正交；它不能为零，因为 $v_j$ 不在前面向量的张成空间内。归一化不改变每步的张成空间，归纳即证。

在 $v\ne0$ 的情形，令 $c=\langle u,v\rangle/\|v\|^2$。由共轭对称性及第一变数线性，展开可得

$$\|u-cv\|^2=\|u\|^2-\overline c\langle u,v\rangle-c\overline{\langle u,v\rangle}+|c|^2\|v\|^2 =\|u\|^2-\frac{|\langle u,v\rangle|^2}{\|v\|^2}.$$

非负性给出不等式，等号等价于 $u=cv$。在 Gram–Schmidt 过程中，每个 $\ell<j$ 都满足

$$\langle w_j,e_\ell\rangle=\langle v_j,e_\ell\rangle-\sum_{i<j}\langle v_j,e_i\rangle\langle e_i,e_\ell\rangle=0.$$

输入向量线性独立排除了零余项，所以每个分母都是正数。

若子空间 $U$ 有标准正交基 $q_1,\ldots,q_k$，定义

$$P_Uv=\sum_{j=1}^k\langle v,q_j\rangle q_j.$$

则 $P_Uv\in U$、$v-P_Uv\in U^\perp$，故 $V=U\oplus U^\perp$，且投影不依赖所选标准正交基。对每个 $u\in U$，

$$\|v-u\|^2=\|v-P_Uv\|^2+\|P_Uv-u\|^2,$$

这证明 $P_Uv$ 是唯一最近点。正交性同时给出存在性和最优性。

例题

投影到平面

在 $\mathbb R^3$ 中令 $U=\operatorname{span}\{(1,1,0),(1,-1,0)\}$。两向量正交，范数均为 $\sqrt2$。对 $v=(2,3,4)$，投影为 $(2,3,0)$，余项为 $(0,0,4)$，其长度 $4$ 即到 $U$ 的距离。

选择方法与常见错误

给定基底线性独立但不正交时用 Gram–Schmidt；已知正交归一基底时直接投影。若 $u_i$ 只正交但非单位向量，每个系数须除以 $\|u_i\|^2$。复内积不可漏掉共轭；有限维的正交补定理不能不加条件地套用至任意无限维子空间。

练习

1. 按次序对 $\mathbb R^2$ 中 $(1,1)$、$(1,0)$ 使用 Gram–Schmidt。
2. 求 $(1,2,3)$ 在 $U=\operatorname{span}\{(1,1,1)\}$ 中的最近点及距离。
3. 在 $\mathbb C^2$ 用 $\langle z,w\rangle=z_1\overline{w_1}+z_2\overline{w_2}$，求 $(i,1)$ 在 $\operatorname{span}\{(1,i)\}$ 上的投影。

完整解答

1. $e_1=(1,1)/\sqrt2$。从 $(1,0)$ 减去第一分量得 $w_2=(1/2,-1/2)$，故 $e_2=(1,-1)/\sqrt2$。
2. $(1,1,1)$ 的系数为 $(1+2+3)/3=2$，最近点为 $(2,2,2)$；余项 $(-1,0,1)$ 长度为 $\sqrt2$。
3. 张成向量的范数平方为 $2$，而 $\langle(i,1),(1,i)\rangle=i-i=0$，故投影为零。

连系

正交投影是自伴算子。伴随算子推广转置，表达映射如何与内积互动。