Gram-Schmidt 正交化

正交基能让内积和坐标计算变得简单，但题目给出的基底通常只是任意的线性无关向量组。 Gram-Schmidt 按顺序逐步删去已经由较早方向解释的成分，把它变成正交向量组。输入顺序很重要：换一个顺序可能得到不同的输出，但输出仍然张成同一个子空间。

投影想法

先考虑一个非零向量 $v$ 和一个向量 $w$ 。要从 $w$ 中扣除 $v$ 的一个倍数，并让余量垂直于 $v$ ，系数 $c$ 必须满足

0=\langle w-cv,v\rangle=\langle w,v\rangle-c\|v\|^2, \qquad c=\frac{\langle w,v\rangle}{\|v\|^2}.

由于 $v\ne0$ ，分母为正，系数也唯一。对多个两两正交的方向，扣除其中一个方向的分量不会改变与其余方向的内积。

假设 $v_1,\dots,v_k$ 已经是非零且两两正交的向量，并令 $w\in\mathbb{R}^m$ 。 $w$ 沿 $v_i$ 的分量系数是

\frac{\langle w,v_i\rangle}{\|v_i\|^2}.

扣除所有旧正交方向后留下的部分是

r=w-\sum_{i=1}^{k}\frac{\langle w,v_i\rangle}{\|v_i\|^2}v_i.

分母合法，是因为正交集不含零向量。当 $k=0$ 时，和是空和， $r=w$ 。这对零子空间很有用，但绝不会要求我们规范化零向量。

定理

正交余量定理

设 $S=\{v_1,\dots,v_k\}$ 是 $\mathbb{R}^m$ 中的正交集，且 $w\in\mathbb{R}^m$ 。定义

r=w-\sum_{j=1}^{k}\frac{\langle w,v_j\rangle}{\|v_j\|^2}v_j.

则对每个 $i$ 都有 $\langle r,v_i\rangle=0$ ，即 $r$ 与 $S$ 中的每个向量正交。

固定 $v_i$ 展开内积：

\langle r,v_i\rangle =\langle w,v_i\rangle- \sum_{j=1}^{k} \frac{\langle w,v_j\rangle}{\|v_j\|^2}\langle v_j,v_i\rangle.

当 $j\ne i$ 时的项都为零，剩下 $\langle w,v_i\rangle-\langle w,v_i\rangle=0$ 。若 $r=0$ ，这只说明 $w$ 已经在先前的张成空间中；对任意 $w$ 来说这种情况可能发生。Gram-Schmidt 要求输入线性无关，正是为了排除每一步出现这种零余量。

投影与张成空间判别

对正交列表 $S=\{v_1,\dots,v_k\}$ ，同一个公式还给出成员资格判别。定义

r(w)=w-\sum_{i=1}^{k}\frac{\langle w,v_i\rangle}{\|v_i\|^2}v_i.

正交余量定理给出 $r(w)\perp\operatorname{span}S$ ，并且

r(w)=0 \quad\Longleftrightarrow\quad w\in\operatorname{span}S.

正向由投影公式立即得到。反过来，若 $w=\sum_i\alpha_i v_i$ ，与 $v_i$ 取内积，由交叉项为零得到 $\alpha_i=\langle w,v_i\rangle/\|v_i\|^2$ ；代回便有 $r(w)=0$ 。所以非零余量恰好记录 $w$ 在当前张成空间外的部分。

证明

投影与正交余量

令 $U=\operatorname{span}S$ ，并设

p(w)=\sum_{i=1}^{k}\frac{\langle w,v_i\rangle}{\|v_i\|^2}v_i, \qquad r=w-p(w).

则 $p(w)\in U$ ；正交余量定理给出 $r$ 与每个生成向量 $v_i$ 正交。由线性性， $r\perp U$ ，所以 $w=p+r$ 。若 $S$ 为空，和为 $0$ 、 $U=\{0\}$ ，同一结论就是 $w=0+w$ 。

若还有 $w=p'+r'$ ，其中 $p'\in U$ 且 $r'\perp U$ ，令 $z=p-p'=r'-r$ 。则 $z\in U$ 且 $z\perp U$ ，因此 $\langle z,z\rangle=0$ ，从而 $z=0$ ；所以 $p=p'$ 且 $r=r'$ 。分解为 $U$ 中部分与正交余量是唯一的。

这个分解精确说明了“删去旧方向”的含义。 $p(w)$ 是由已有正交生成向量重构出的部分，而 $r$ 是它们的任何线性组合都不能解释的部分。若 $w\in U$ ，成员资格判别给出 $r=0$ ；若 $w\notin U$ ，则 $r\ne0$ ，它提供一个垂直于 $U$ 中所有方向的新方向。因此在 Gram-Schmidt 归纳中，独立输入不能消失。唯一性还说明满足这些条件的正交部分不会有两种不同答案： $z\in U\cap U^\perp$ 时，正定内积迫使 $\langle z,z\rangle=0$ ，于是 $z=0$ 。

Gram-Schmidt 过程

定理

Gram-Schmidt 正交化过程

设 $k\ge1$ ，且 $w_1,\dots,w_k$ 是 $\mathbb{R}^m$ 中的线性无关向量组。定义

v_1=w_1,

并对 $\ell=2,\dots,k$ 定义

v_\ell=w_\ell-\sum_{j=1}^{\ell-1} \frac{\langle w_\ell,v_j\rangle}{\|v_j\|^2}v_j.

则每个 $v_\ell$ 都非零， $v_1,\dots,v_k$ 两两正交，而且对每个 $\ell$ ，

\operatorname{span}\{w_1,\dots,w_\ell\} = \operatorname{span}\{v_1,\dots,v_\ell\}.

空输入列表另行处理：它的张成空间是零子空间 $\{0\}$ ，输出是空的正交列表。这种情形没有要定义的 $v_1$ ，也没有向量需要规范化。

每一步必须使用已经构造的正交向量 $v_j$ ，不能把原来的 $w_j$ 当成彼此正交。否则独立扣除各个 $w_j$ 的投影，并不能移除正确的成分。

证明

归纳中的三个不变量

我们同时证明第 $\ell$ 步的三个事实：(i) 新向量非零；(ii) 已构造向量两两正交； (iii) 两个部分张成空间相等。基例是 $v_1=w_1\ne0$ ，两个张成空间都是同一条直线。

假设这些事实已经对 $\ell-1$ 成立。先前的 $v_j$ 非零，所以 $v_\ell$ 定义式中的每个分母都合法。正交余量定理给出 $v_\ell\perp v_j$ （ $j<\ell$ ），于是新的正交性成立。

定义式说明 $v_\ell$ 是 $w_\ell$ 与先前 $v_j$ 的线性组合，因此新的 $v$ -张成空间包含于新的 $w$ -张成空间。反过来整理定义式：

w_\ell=v_\ell+ \sum_{j=1}^{\ell-1} \frac{\langle w_\ell,v_j\rangle}{\|v_j\|^2}v_j,

便得到反向包含，所以两个部分张成空间相等。最后，若 $v_\ell=0$ ，上式会把 $w_\ell$ 放进 $\operatorname{span}\{v_1,\dots,v_{\ell-1}\} =\operatorname{span}\{w_1,\dots,w_{\ell-1}\}$ ，这与输入线性无关矛盾。因此新向量非零，三个部分在不预先假设结论的情况下同时完成。

所以正交性不只是若干个点积为零；正交集还必须不含零向量。这个非零检查使后面的规范化有合法分母。

在三维空间中扣除已有方向

例题

$\mathbb R^3$ 中的三个线性无关向量

取有序向量组

w_1=\begin{bmatrix}1\\0\\1\end{bmatrix},\qquad w_2=\begin{bmatrix}1\\1\\1\end{bmatrix},\qquad w_3=\begin{bmatrix}0\\1\\2\end{bmatrix}.

以它们为列的矩阵行列式是 $2$ ，所以输入线性无关。先有

v_1=w_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad \|v_1\|^2=2.

第二步的系数为

\frac{\langle w_2,v_1\rangle}{\|v_1\|^2} =\frac{2}{2}=1,\qquad v_2=w_2-v_1=\begin{bmatrix}0\\1\\0\end{bmatrix}.

第三步必须同时处理两个已经构造的方向：

\frac{\langle w_3,v_1\rangle}{\|v_1\|^2} =\frac{2}{2}=1,\qquad \frac{\langle w_3,v_2\rangle}{\|v_2\|^2} =\frac{1}{1}=1,

所以

v_3=w_3-v_1-v_2=\begin{bmatrix}-1\\0\\1\end{bmatrix}.

三个平方范数是 $2,1,2$ ，而且

\langle v_1,v_2\rangle=\langle v_1,v_3\rangle =\langle v_2,v_3\rangle=0.

张成空间的保持也能直接看出：

w_2=v_1+v_2,\qquad w_3=v_1+v_2+v_3.

因此输出和输入张成完全相同的 $\mathbb{R}^3$ 。

第三步的算术可以在接受答案前逐项核对： $\langle w_3,v_1\rangle=0\cdot1+1\cdot0+2\cdot1=2$ ，而 $\langle w_3,v_2\rangle=0\cdot0+1\cdot1+2\cdot0=1$ 。所以扣除 $(1,0,1)^T+(0,1,0)^T$ 后确实得到 $(-1,0,1)^T$ ，负的第一坐标不是猜出的符号。

反例模式

为什么不能用原来的 w 向量代替 v 向量

若错误地用原向量计算第三步，会得到

w_3- \frac{\langle w_3,w_1\rangle}{\|w_1\|^2}w_1- \frac{\langle w_3,w_2\rangle}{\|w_2\|^2}w_2 =w_3-w_1-w_2=\begin{bmatrix}-2\\0\\0\end{bmatrix}.

这个向量与 $w_1$ 的点积是 $-2$ ，因此并不正交。修正方法是对 $v_1,v_2$ 做投影扣除，所得 $v_3=(-1,0,1)^T$ 才正确。两组向量不同，但每一步的部分张成空间相同。

准确保留投影系数中的分数

这里的投影系数是分数。每次相减时保留精确分数，再核对正交性与张成空间相等。

例题

三维空间中的分数投影系数

从

w_1=(1,1,0)^T,\qquad w_2=(1,0,1)^T,\qquad w_3=(0,1,1)^T

开始。

步骤	投影数据	新正交向量	保持的张成
$v_1$	无	$v_1=w_1=(1,1,0)^T$	$\operatorname{Span}\{v_1\}=\operatorname{Span}\{w_1\}$
$v_2$	$\langle w_2,v_1\rangle/\\|v_1\\|^2=1/2$	$v_2=w_2-\frac12v_1=(1/2,-1/2,1)^T$	$\operatorname{Span}\{v_1,v_2\}=\operatorname{Span}\{w_1,w_2\}$
$v_3$	$\langle w_3,v_1\rangle/\\|v_1\\|^2=1/2$ ， $\langle w_3,v_2\rangle/\\|v_2\\|^2=1/3$	$v_3=w_3-\frac12v_1-\frac13v_2=(-2/3,2/3,2/3)^T$	$\operatorname{Span}\{v_1,v_2,v_3\}=\operatorname{Span}\{w_1,w_2,w_3\}$

以这些向量为列的行列式是 $-2$ ，所以它们线性无关。这里 $\|v_2\|^2=3/2$ ，并且 $\langle w_3,v_2\rangle=0(1/2)+1(-1/2)+1(1)=1/2$ ；第三步的第二个系数是 $(1/2)/(3/2)=1/3$ 。所得 $v_3$ 的平方范数为 $4/3$ ，直接计算还给出 $v_1\cdot v_2=v_1\cdot v_3=v_2\cdot v_3=0$ 。

规范化与边界情况

定理

从正交基得到标准正交基

若 $v_1,\dots,v_k$ 是正交基，定义

u_i=\frac{v_i}{\|v_i\|}.

每个 $u_i$ 的范数都是 $1$ ，缩放不改变两两正交性，所以得到同一子空间的标准正交基。

例题

规范化第一个 $\mathbb R^3$ 输出

对第一个 $\mathbb R^3$ 例子，

\|v_1\|=\sqrt2,\qquad \|v_2\|=1,\qquad \|v_3\|=\sqrt2.

因此

u_1=\frac1{\sqrt2}\begin{bmatrix}1\\0\\1\end{bmatrix},\qquad u_2=\begin{bmatrix}0\\1\\0\end{bmatrix},\qquad u_3=\frac1{\sqrt2}\begin{bmatrix}-1\\0\\1\end{bmatrix}.

这里沿用的是第一个输出，而不是静态表格的另一组输入。

因为范数为正， $u_i$ 与 $v_i$ 方向相同；乘回 $\|v_i\|$ 会得到原向量，而不是它的相反向量。

单位长度可直接核对： $\|u_1\|^2=(1/2)\|v_1\|^2=1$ ， $\|u_2\|^2=1$ ， $\|u_3\|^2=(1/2)\|v_3\|^2=1$ 。并且 $v_i=\|v_i\|u_i$ ，所以由 $u_i$ 乘回范数就得到 $v_i$ ；规范化保持每一个张成空间等式的两个方向。

例题

从 $\mathbb R^4$ 约束得到标准正交基

令

V=N\begin{bmatrix}1&1&1&1\end{bmatrix} =\{x\in\mathbb{R}^4:x_1+x_2+x_3+x_4=0\}.

写成 $x=(-a-b-c,a,b,c)^T$ ，可见 $V$ 的一个基为

w_1=\begin{bmatrix}-1\\1\\0\\0\end{bmatrix},\quad w_2=\begin{bmatrix}-1\\0\\1\\0\end{bmatrix},\quad w_3=\begin{bmatrix}-1\\0\\0\\1\end{bmatrix}.

这些向量线性无关：若 $a_1w_1+a_2w_2+a_3w_3=0$ ，第 2、3、4 个坐标分别迫使 $a_1=a_2=a_3=0$ 。约束方程也直接说明它们都在 $V$ 中。

Gram-Schmidt 给出

v_1=w_1,\qquad v_2=w_2-\frac12v_1= \begin{bmatrix}-1/2\\-1/2\\1\\0\end{bmatrix},

这里 $\langle w_2,v_1\rangle=1$ 、 $\|v_1\|^2=2$ ，所以系数为 $1/2$ 。另外 $\langle w_3,v_1\rangle=1$ ，而 $\langle w_3,v_2\rangle=1/2$ 、 $\|v_2\|^2=3/2$ ，所以系数为 $(1/2)/(3/2)=1/3$ 。于是

v_3=w_3-\frac12v_1-\frac13v_2 =\begin{bmatrix}-1/3\\-1/3\\-1/3\\1\end{bmatrix}.

平方范数为 $2,3/2,4/3$ ，规范化后得到

u_1=\frac1{\sqrt2}\begin{bmatrix}-1\\1\\0\\0\end{bmatrix},\quad u_2=\frac1{\sqrt6}\begin{bmatrix}-1\\-1\\2\\0\end{bmatrix},\quad u_3=\frac1{\sqrt{12}}\begin{bmatrix}-1\\-1\\-1\\3\end{bmatrix}.

例如 $\|v_2\|^2=1/4+1/4+1=3/2$ ， $\|v_3\|^2=1/9+1/9+1/9+1=4/3$ ；显示的缩放因子确实使三个范数都为 $1$ 。每个向量的坐标和为零，每一对的点积为零。又因 $v_i=\|v_i\|u_i$ ，把 $u_i$ 乘回范数即可得到 $v_i$ ，所以规范化保持每一个张成空间等式的两个方向。由于零空间维数是 $3$ ，这三个向量构成 $V$ 的标准正交基。

$\mathbb R^4$ 计算还可以双向核对张成空间。由三个定义式，

w_2=v_2+\frac12v_1,\qquad w_3=v_3+\frac12v_1+\frac13v_2.

反过来，每个 $v_i$ 都由相应的 $w_i$ 与较早向量构成；这是一个对角系数都为 $1$ 的三角变换，所以没有丢失任何方向。规范化后的向量仍在 $V$ 中： $u_1$ 的坐标和为 $(-1+1)/\sqrt2=0$ ， $u_2$ 的坐标和为 $(-1-1+2)/\sqrt6=0$ ， $u_3$ 的坐标和为 $(-1-1-1+3)/\sqrt{12}=0$ 。它们的平方范数分别是 $2/2$ 、 $(1+1+4)/6$ 和 $(1+1+1+9)/12$ ，都等于 $1$ ；这些坐标核对独立确认了约束和规范化。

定理

每个有限维子空间都有标准正交基

$\mathbb{R}^m$ 的每个子空间都有有限基。正维数时，Gram-Schmidt 产生非零正交基，再规范化便得到标准正交基。零子空间是边界情况：它的空集基已经是正交基和标准正交基，不需要对任何向量除以范数。

常见错误

快速检查

思考检查

Gram-Schmidt 的第一个向量 $v_1$ 是什么？

看递归定义的第一行。

解答 · 答案

$v_1=w_1$ ；第一个输入方向原样保留。

思考检查

Gram-Schmidt 除了正交性还保持什么性质？

使用部分张成空间相等式。

解答 · 答案

它保持每个部分张成空间： $\operatorname{span}\{w_1,\dots,w_\ell\}=\operatorname{span}\{v_1,\dots,v_\ell\}$ 。

思考检查

怎样把正交基变成标准正交基？

使用每个构造向量的范数。

解答 · 答案

对每个非零 $v_i$ 除以范数： $u_i=v_i/\|v_i\|$ 。

思考检查

对 $w_1=(1,2,0)$ 与 $w_2=(2,0,1)$ 做前两步 Gram-Schmidt。

先计算 $v_1$ ，再计算唯一的投影系数。

解答 · 引导解答

$v_1=(1,2,0)^T$ ，投影系数为 $\langle w_2,v_1\rangle/\|v_1\|^2=2/5$ ，因此

v_2=(2,0,1)^T-\frac25(1,2,0)^T=(8/5,-4/5,1)^T.

核对 $v_1\cdot v_2=8/5-8/5=0$ 。而且 $w_2=v_2+\frac25v_1$ ，所以新旧两组向量张成同一个平面。

思考检查

为什么独立输入列表出现零余量就说明有问题？

把零余量和先前的张成空间联系起来。

解答 · 引导解答

余量为零当且仅当当前向量在先前向量的张成空间中，这与线性无关性矛盾。

思考检查

若正交向量 $v_1,v_2$ 的范数分别是 3 和 4，对应的单位向量是什么？

分别规范化。

解答 · 引导解答

它们是 $u_1=v_1/3$ 与 $u_2=v_2/4$ ；二者范数为 $1$ ，仍然正交。

网站功能存储（按需使用）

Gram-Schmidt 正交化

投影想法

正交余量定理

投影与张成空间判别

投影与正交余量

Gram-Schmidt 过程

Gram-Schmidt 正交化过程

归纳中的三个不变量

在三维空间中扣除已有方向

$\mathbb R^3$ 中的三个线性无关向量

为什么不能用原来的 w 向量代替 v 向量

准确保留投影系数中的分数

三维空间中的分数投影系数

规范化与边界情况

从正交基得到标准正交基

规范化第一个 $\mathbb R^3$ 输出

从 $\mathbb R^4$ 约束得到标准正交基

每个有限维子空间都有标准正交基

相关输入会产生零余量

快速检查

Gram-Schmidt 的第一个向量 $v_1$ 是什么？

Gram-Schmidt 除了正交性还保持什么性质？

怎样把正交基变成标准正交基？

对 $w_1=(1,2,0)$ 与 $w_2=(2,0,1)$ 做前两步 Gram-Schmidt。

为什么独立输入列表出现零余量就说明有问题？

若正交向量 $v_1,v_2$ 的范数分别是 3 和 4，对应的单位向量是什么？

相关笔记

先备知识

本单元重点词汇

本系列更多笔记

Gram-Schmidt 正交化

投影想法

正交余量定理

投影与张成空间判别

投影与正交余量

Gram-Schmidt 过程

Gram-Schmidt 正交化过程

归纳中的三个不变量

在三维空间中扣除已有方向

R3\mathbb R^3R3 中的三个线性无关向量

为什么不能用原来的 w 向量代替 v 向量

准确保留投影系数中的分数

三维空间中的分数投影系数

规范化与边界情况

从正交基得到标准正交基

规范化第一个 R3\mathbb R^3R3 输出

从 R4\mathbb R^4R4 约束得到标准正交基

每个有限维子空间都有标准正交基

相关输入会产生零余量

快速检查

Gram-Schmidt 的第一个向量 v1v_1v1​ 是什么？

Gram-Schmidt 除了正交性还保持什么性质？

怎样把正交基变成标准正交基？

对 w1=(1,2,0)w_1=(1,2,0)w1​=(1,2,0) 与 w2=(2,0,1)w_2=(2,0,1)w2​=(2,0,1) 做前两步 Gram-Schmidt。

为什么独立输入列表出现零余量就说明有问题？

若正交向量 v1,v2v_1,v_2v1​,v2​ 的范数分别是 3 和 4，对应的单位向量是什么？

相关笔记

先备知识

本单元重点词汇

本系列更多笔记

$\mathbb R^3$ 中的三个线性无关向量

规范化第一个 $\mathbb R^3$ 输出

从 $\mathbb R^4$ 约束得到标准正交基

Gram-Schmidt 的第一个向量 $v_1$ 是什么？

对 $w_1=(1,2,0)$ 与 $w_2=(2,0,1)$ 做前两步 Gram-Schmidt。

若正交向量 $v_1,v_2$ 的范数分别是 3 和 4，对应的单位向量是什么？