Gram-Schmidt 正交化

正交基令內積和坐標計算更容易，但題目給出的基底通常只是一組任意的線性無關向量。 Gram-Schmidt 按次序逐步扣除已由較早方向解釋的成分，將它變成正交向量組。輸入次序很重要：次序改變可能令輸出不同，但輸出仍然張成同一個子空間。

投影想法

先考慮一個非零向量 $v$ 和一個向量 $w$ 。要從 $w$ 中扣除 $v$ 的一個倍數，並讓餘量垂直於 $v$ ，係數 $c$ 必須滿足

0=\langle w-cv,v\rangle=\langle w,v\rangle-c\|v\|^2, \qquad c=\frac{\langle w,v\rangle}{\|v\|^2}.

由於 $v\ne0$ ，分母為正，係數亦唯一。對多個兩兩正交的方向，扣除其中一個方向的分量不會改變與其餘方向的內積。

假設 $v_1,\dots,v_k$ 已經是非零而且兩兩正交的向量，並令 $w\in\mathbb{R}^m$ 。 $w$ 沿 $v_i$ 的分量係數是

\frac{\langle w,v_i\rangle}{\|v_i\|^2}.

扣除所有舊有正交方向後留下的部分是

r=w-\sum_{i=1}^{k}\frac{\langle w,v_i\rangle}{\|v_i\|^2}v_i.

分母合法，是因為正交集不含零向量。當 $k=0$ 時，這個和是空和， $r=w$ 。這對零子空間很有用，但不會要求我們把零向量正規化。

定理

正交餘量定理

設 $S=\{v_1,\dots,v_k\}$ 是 $\mathbb{R}^m$ 中的正交集，而 $w\in\mathbb{R}^m$ 。定義

r=w-\sum_{j=1}^{k}\frac{\langle w,v_j\rangle}{\|v_j\|^2}v_j.

則對每個 $i$ 都有 $\langle r,v_i\rangle=0$ ，即 $r$ 與 $S$ 中每個向量正交。

固定一個 $v_i$ 展開內積：

\langle r,v_i\rangle =\langle w,v_i\rangle- \sum_{j=1}^{k} \frac{\langle w,v_j\rangle}{\|v_j\|^2}\langle v_j,v_i\rangle.

當 $j\ne i$ 時的各項均為零，剩下 $\langle w,v_i\rangle-\langle w,v_i\rangle=0$ 。若 $r=0$ ，只表示 $w$ 已在舊有張成空間中；對任意 $w$ 而言這種情況可能發生。Gram-Schmidt 要求輸入線性無關，正是為了避免每一步得到零餘量。

投影與張成空間判別

對正交列表 $S=\{v_1,\dots,v_k\}$ ，同一公式亦給出成員資格判別。定義

r(w)=w-\sum_{i=1}^{k}\frac{\langle w,v_i\rangle}{\|v_i\|^2}v_i.

正交餘量定理給出 $r(w)\perp\operatorname{span}S$ ，而且

r(w)=0 \quad\Longleftrightarrow\quad w\in\operatorname{span}S.

正向由投影公式立即得到。反過來，若 $w=\sum_i\alpha_i v_i$ ，與 $v_i$ 取內積，因交叉項為零而得到 $\alpha_i=\langle w,v_i\rangle/\|v_i\|^2$ ；代回便有 $r(w)=0$ 。所以非零餘量正好記錄 $w$ 在目前張成空間以外的部分。

證明

投影與正交餘量

令 $U=\operatorname{span}S$ ，並設

p(w)=\sum_{i=1}^{k}\frac{\langle w,v_i\rangle}{\|v_i\|^2}v_i, \qquad r=w-p(w).

則 $p(w)\in U$ ；正交餘量定理給出 $r$ 與每個生成向量 $v_i$ 正交。由線性性， $r\perp U$ ，所以 $w=p+r$ 。若 $S$ 為空，和為 $0$ 、 $U=\{0\}$ ，同一結論就是 $w=0+w$ 。

若還有 $w=p'+r'$ ，其中 $p'\in U$ 且 $r'\perp U$ ，令 $z=p-p'=r'-r$ 。則 $z\in U$ 且 $z\perp U$ ，因此 $\langle z,z\rangle=0$ ，從而 $z=0$ ；所以 $p=p'$ 且 $r=r'$ 。分解為 $U$ 中部分與正交餘量是唯一的。

這個分解精確說明「刪去舊方向」的含義。 $p(w)$ 是由已有正交生成向量重構的部分，而 $r$ 是它們的任何線性組合都不能解釋的部分。若 $w\in U$ ，成員資格判別給出 $r=0$ ；若 $w\notin U$ ，則 $r\ne0$ ，它提供一個垂直於 $U$ 內所有方向的新方向。因此在 Gram-Schmidt 歸納中，獨立輸入不能消失。唯一性亦說明符合這些條件的正交部分不會有兩個不同答案： $z\in U\cap U^\perp$ 時，正定內積迫使 $\langle z,z\rangle=0$ ，於是 $z=0$ 。

Gram-Schmidt 過程

定理

Gram-Schmidt 正交化過程

設 $k\ge1$ ，而 $w_1,\dots,w_k$ 是 $\mathbb{R}^m$ 中一組線性無關向量。定義

v_1=w_1,

並對 $\ell=2,\dots,k$ 定義

v_\ell=w_\ell-\sum_{j=1}^{\ell-1} \frac{\langle w_\ell,v_j\rangle}{\|v_j\|^2}v_j.

則每個 $v_\ell$ 都非零， $v_1,\dots,v_k$ 兩兩正交，而且對每個 $\ell$ ，

\operatorname{span}\{w_1,\dots,w_\ell\} = \operatorname{span}\{v_1,\dots,v_\ell\}.

空輸入列表另行處理：它的張成空間是零子空間 $\{0\}$ ，輸出是空的正交列表。這情況沒有要定義的 $v_1$ ，亦沒有向量需要正規化。

每一步必須使用已經構造的正交向量 $v_j$ ，不能把原來的 $w_j$ 當作互相正交。否則分別扣除各個 $w_j$ 的投影，並不能扣掉正確的成分。

證明

歸納中的三個不變量

我們同時證明第 $\ell$ 步的三件事：(i) 新向量非零；(ii) 已構造向量兩兩正交； (iii) 兩個部分張成空間相等。基例是 $v_1=w_1\ne0$ ，兩個張成空間都是同一條直線。

假設這三件事已對 $\ell-1$ 成立。先前的 $v_j$ 非零，所以 $v_\ell$ 定義式中的分母均合法。正交餘量定理給出 $v_\ell\perp v_j$ （ $j<\ell$ ），新的正交性因而成立。

定義式說明 $v_\ell$ 是 $w_\ell$ 與先前 $v_j$ 的線性組合，因此新的 $v$ -張成空間包含於新的 $w$ -張成空間。整理定義式：

w_\ell=v_\ell+ \sum_{j=1}^{\ell-1} \frac{\langle w_\ell,v_j\rangle}{\|v_j\|^2}v_j,

便得到反向包含，兩個部分張成空間相等。最後，若 $v_\ell=0$ ，上式會把 $w_\ell$ 放進 $\operatorname{span}\{v_1,\dots,v_{\ell-1}\} =\operatorname{span}\{w_1,\dots,w_{\ell-1}\}$ ，與輸入線性無關矛盾。因此新向量非零，三個部分在不預先假設結論的情況下同時完成。

因此正交性不只是若干個點積為零；正交集還必須不含零向量。這個非零檢查令後面的正規化有合法分母。

在三維空間中扣除已有方向

例題

$\mathbb R^3$ 中的三個線性無關向量

取有序向量組

w_1=\begin{bmatrix}1\\0\\1\end{bmatrix},\qquad w_2=\begin{bmatrix}1\\1\\1\end{bmatrix},\qquad w_3=\begin{bmatrix}0\\1\\2\end{bmatrix}.

以它們為欄的矩陣行列式是 $2$ ，所以輸入線性無關。先有

v_1=w_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad \|v_1\|^2=2.

第二步的係數為

\frac{\langle w_2,v_1\rangle}{\|v_1\|^2} =\frac{2}{2}=1,\qquad v_2=w_2-v_1=\begin{bmatrix}0\\1\\0\end{bmatrix}.

第三步必須同時處理兩個已構造的方向：

\frac{\langle w_3,v_1\rangle}{\|v_1\|^2} =\frac{2}{2}=1,\qquad \frac{\langle w_3,v_2\rangle}{\|v_2\|^2} =\frac{1}{1}=1,

所以

v_3=w_3-v_1-v_2=\begin{bmatrix}-1\\0\\1\end{bmatrix}.

三個平方範數是 $2,1,2$ ，而且

\langle v_1,v_2\rangle=\langle v_1,v_3\rangle =\langle v_2,v_3\rangle=0.

張成空間保持也可直接看出：

w_2=v_1+v_2,\qquad w_3=v_1+v_2+v_3.

因此輸出與輸入張成完全相同的 $\mathbb{R}^3$ 。

第三步的算術可在接受答案前逐項核對： $\langle w_3,v_1\rangle=0\cdot1+1\cdot0+2\cdot1=2$ ，而 $\langle w_3,v_2\rangle=0\cdot0+1\cdot1+2\cdot0=1$ 。所以扣除 $(1,0,1)^T+(0,1,0)^T$ 後確實得到 $(-1,0,1)^T$ ，負的第一個座標不是猜出的符號。

反例模式

為甚麼不能用原來的 w 向量代替 v 向量

若錯誤地用原向量計算第三步，會得到

w_3- \frac{\langle w_3,w_1\rangle}{\|w_1\|^2}w_1- \frac{\langle w_3,w_2\rangle}{\|w_2\|^2}w_2 =w_3-w_1-w_2=\begin{bmatrix}-2\\0\\0\end{bmatrix}.

這個向量與 $w_1$ 的點積是 $-2$ ，所以並不正交。修正方法是對 $v_1,v_2$ 扣除投影，所得 $v_3=(-1,0,1)^T$ 才正確。兩組向量不同，但每一步的部分張成空間相同。

準確保留投影係數中的分數

這裏的投影係數是分數。每次相減時保留精確分數，再核對正交性與張成空間相等。

例題

三維空間中的分數投影係數

從

w_1=(1,1,0)^T,\qquad w_2=(1,0,1)^T,\qquad w_3=(0,1,1)^T

開始。

步驟	投影資料	新正交向量	保持的張成
$v_1$	無	$v_1=w_1=(1,1,0)^T$	$\operatorname{Span}\{v_1\}=\operatorname{Span}\{w_1\}$
$v_2$	$\langle w_2,v_1\rangle/\\|v_1\\|^2=1/2$	$v_2=w_2-\frac12v_1=(1/2,-1/2,1)^T$	$\operatorname{Span}\{v_1,v_2\}=\operatorname{Span}\{w_1,w_2\}$
$v_3$	$\langle w_3,v_1\rangle/\\|v_1\\|^2=1/2$ ， $\langle w_3,v_2\rangle/\\|v_2\\|^2=1/3$	$v_3=w_3-\frac12v_1-\frac13v_2=(-2/3,2/3,2/3)^T$	$\operatorname{Span}\{v_1,v_2,v_3\}=\operatorname{Span}\{w_1,w_2,w_3\}$

以這些向量為欄的行列式是 $-2$ ，所以它們線性無關。這裏 $\|v_2\|^2=3/2$ ，而 $\langle w_3,v_2\rangle=0(1/2)+1(-1/2)+1(1)=1/2$ ；第三步的第二個系數是 $(1/2)/(3/2)=1/3$ 。所得 $v_3$ 的平方範數為 $4/3$ ，直接計算亦給出 $v_1\cdot v_2=v_1\cdot v_3=v_2\cdot v_3=0$ 。

正規化與邊界情況

定理

由正交基得到標準正交基

若 $v_1,\dots,v_k$ 是正交基，定義

u_i=\frac{v_i}{\|v_i\|}.

每個 $u_i$ 的範數都是 $1$ ，縮放不改變兩兩正交性，所以得到同一子空間的標準正交基。

例題

正規化第一個 $\mathbb R^3$ 輸出

對第一個 $\mathbb R^3$ 例子，

\|v_1\|=\sqrt2,\qquad \|v_2\|=1,\qquad \|v_3\|=\sqrt2.

因此

u_1=\frac1{\sqrt2}\begin{bmatrix}1\\0\\1\end{bmatrix},\qquad u_2=\begin{bmatrix}0\\1\\0\end{bmatrix},\qquad u_3=\frac1{\sqrt2}\begin{bmatrix}-1\\0\\1\end{bmatrix}.

這裏沿用第一個輸出，而不是靜態表格的另一組輸入。

因為範數為正， $u_i$ 與 $v_i$ 方向相同；乘回 $\|v_i\|$ 便得到原向量，而不是它的相反向量。

單位長度可直接核對： $\|u_1\|^2=(1/2)\|v_1\|^2=1$ 、 $\|u_2\|^2=1$ 、 $\|u_3\|^2=(1/2)\|v_3\|^2=1$ 。而且 $v_i=\|v_i\|u_i$ ，把 $u_i$ 乘回範數便得到 $v_i$ ；因此正規化保持每一個張成空間等式的兩個方向。

例題

由 $\mathbb R^4$ 約束得到標準正交基

令

V=N\begin{bmatrix}1&1&1&1\end{bmatrix} =\{x\in\mathbb{R}^4:x_1+x_2+x_3+x_4=0\}.

寫成 $x=(-a-b-c,a,b,c)^T$ ，可見 $V$ 的一組基為

w_1=\begin{bmatrix}-1\\1\\0\\0\end{bmatrix},\quad w_2=\begin{bmatrix}-1\\0\\1\\0\end{bmatrix},\quad w_3=\begin{bmatrix}-1\\0\\0\\1\end{bmatrix}.

這些向量線性無關：若 $a_1w_1+a_2w_2+a_3w_3=0$ ，第 2、3、4 個座標分別迫使 $a_1=a_2=a_3=0$ 。約束方程亦直接說明它們都在 $V$ 內。

Gram-Schmidt 給出

v_1=w_1,\qquad v_2=w_2-\frac12v_1= \begin{bmatrix}-1/2\\-1/2\\1\\0\end{bmatrix},

這裏 $\langle w_2,v_1\rangle=1$ 、 $\|v_1\|^2=2$ ，所以係數為 $1/2$ 。另外 $\langle w_3,v_1\rangle=1$ ，而 $\langle w_3,v_2\rangle=1/2$ 、 $\|v_2\|^2=3/2$ ，所以係數為 $(1/2)/(3/2)=1/3$ 。於是

v_3=w_3-\frac12v_1-\frac13v_2 =\begin{bmatrix}-1/3\\-1/3\\-1/3\\1\end{bmatrix}.

平方範數為 $2,3/2,4/3$ ，正規化後得到

u_1=\frac1{\sqrt2}\begin{bmatrix}-1\\1\\0\\0\end{bmatrix},\quad u_2=\frac1{\sqrt6}\begin{bmatrix}-1\\-1\\2\\0\end{bmatrix},\quad u_3=\frac1{\sqrt{12}}\begin{bmatrix}-1\\-1\\-1\\3\end{bmatrix}.

例如 $\|v_2\|^2=1/4+1/4+1=3/2$ ， $\|v_3\|^2=1/9+1/9+1/9+1=4/3$ ；顯示的縮放因子確實令三個範數都是 $1$ 。每個向量的坐標和為零，每一對的點積為零。又因 $v_i=\|v_i\|u_i$ ，把 $u_i$ 乘回範數即可得到 $v_i$ ，所以正規化保持每一個張成空間等式的兩個方向。由於零空間維數是 $3$ ，這三個向量構成 $V$ 的標準正交基。

$\mathbb R^4$ 計算亦可雙向核對張成空間。由三個定義式，

w_2=v_2+\frac12v_1,\qquad w_3=v_3+\frac12v_1+\frac13v_2.

反過來，每個 $v_i$ 都由相應的 $w_i$ 與較早向量構成；這是對角系數全為 $1$ 的三角變換，所以沒有丟失任何方向。正規化後的向量仍在 $V$ 內： $u_1$ 的座標和為 $(-1+1)/\sqrt2=0$ ， $u_2$ 的座標和為 $(-1-1+2)/\sqrt6=0$ ， $u_3$ 的座標和為 $(-1-1-1+3)/\sqrt{12}=0$ 。它們的平方範數分別是 $2/2$ 、 $(1+1+4)/6$ 及 $(1+1+1+9)/12$ ，全部等於 $1$ ；這些座標核對獨立確認了約束與正規化。

定理

每個有限維子空間都有標準正交基

$\mathbb{R}^m$ 的每個子空間都有有限基。正維數時，Gram-Schmidt 產生非零正交基，再正規化便得到標準正交基。零子空間是邊界情況：它的空集基已是正交基和標準正交基，不需要對任何向量除以範數。

常見錯誤

快速檢查

思考檢查

Gram-Schmidt 的第一個向量 $v_1$ 是甚麼？

看遞迴定義的第一行。

解答 · 答案

$v_1=w_1$ ；第一個輸入方向原樣保留。

思考檢查

Gram-Schmidt 除了正交性還保持甚麼性質？

使用部分張成空間相等式。

解答 · 答案

它保持每個部分張成空間： $\operatorname{span}\{w_1,\dots,w_\ell\}=\operatorname{span}\{v_1,\dots,v_\ell\}$ 。

思考檢查

怎樣把正交基變成標準正交基？

使用每個構造向量的範數。

解答 · 答案

對每個非零 $v_i$ 除以範數： $u_i=v_i/\|v_i\|$ 。

思考檢查

對 $w_1=(1,2,0)$ 與 $w_2=(2,0,1)$ 做前兩步 Gram-Schmidt。

先計算 $v_1$ ，再計算唯一的投影係數。

解答 · 引導解答

$v_1=(1,2,0)^T$ ，投影係數為 $\langle w_2,v_1\rangle/\|v_1\|^2=2/5$ ，因此

v_2=(2,0,1)^T-\frac25(1,2,0)^T=(8/5,-4/5,1)^T.

核對 $v_1\cdot v_2=8/5-8/5=0$ 。而且 $w_2=v_2+\frac25v_1$ ，所以新舊兩組向量張成同一個平面。

思考檢查

為甚麼獨立輸入列表出現零餘量就表示有問題？

把零餘量和先前的張成空間聯繫起來。

解答 · 引導解答

餘量為零當且僅當目前向量在先前向量的張成空間中，這與線性無關性矛盾。

思考檢查

若正交向量 $v_1,v_2$ 的範數分別是 3 和 4，對應的單位向量是甚麼？

分別正規化。

解答 · 引導解答

它們是 $u_1=v_1/3$ 與 $u_2=v_2/4$ ；兩者範數為 $1$ ，仍然正交。

網站功能儲存（按需使用）

Gram-Schmidt 正交化

投影想法

正交餘量定理

投影與張成空間判別

投影與正交餘量

Gram-Schmidt 過程

Gram-Schmidt 正交化過程

歸納中的三個不變量

在三維空間中扣除已有方向

$\mathbb R^3$ 中的三個線性無關向量

為甚麼不能用原來的 w 向量代替 v 向量

準確保留投影係數中的分數

三維空間中的分數投影係數

正規化與邊界情況

由正交基得到標準正交基

正規化第一個 $\mathbb R^3$ 輸出

由 $\mathbb R^4$ 約束得到標準正交基

每個有限維子空間都有標準正交基

相關輸入會產生零餘量

快速檢查

Gram-Schmidt 的第一個向量 $v_1$ 是甚麼？

Gram-Schmidt 除了正交性還保持甚麼性質？

怎樣把正交基變成標準正交基？

對 $w_1=(1,2,0)$ 與 $w_2=(2,0,1)$ 做前兩步 Gram-Schmidt。

為甚麼獨立輸入列表出現零餘量就表示有問題？

若正交向量 $v_1,v_2$ 的範數分別是 3 和 4，對應的單位向量是甚麼？

相關筆記

先備知識

本單元重點詞彙

本系列更多筆記

Gram-Schmidt 正交化

投影想法

正交餘量定理

投影與張成空間判別

投影與正交餘量

Gram-Schmidt 過程

Gram-Schmidt 正交化過程

歸納中的三個不變量

在三維空間中扣除已有方向

R3\mathbb R^3R3 中的三個線性無關向量

為甚麼不能用原來的 w 向量代替 v 向量

準確保留投影係數中的分數

三維空間中的分數投影係數

正規化與邊界情況

由正交基得到標準正交基

正規化第一個 R3\mathbb R^3R3 輸出

由 R4\mathbb R^4R4 約束得到標準正交基

每個有限維子空間都有標準正交基

相關輸入會產生零餘量

快速檢查

Gram-Schmidt 的第一個向量 v1v_1v1​ 是甚麼？

Gram-Schmidt 除了正交性還保持甚麼性質？

怎樣把正交基變成標準正交基？

對 w1=(1,2,0)w_1=(1,2,0)w1​=(1,2,0) 與 w2=(2,0,1)w_2=(2,0,1)w2​=(2,0,1) 做前兩步 Gram-Schmidt。

為甚麼獨立輸入列表出現零餘量就表示有問題？

若正交向量 v1,v2v_1,v_2v1​,v2​ 的範數分別是 3 和 4，對應的單位向量是甚麼？

相關筆記

先備知識

本單元重點詞彙

本系列更多筆記

$\mathbb R^3$ 中的三個線性無關向量

正規化第一個 $\mathbb R^3$ 輸出

由 $\mathbb R^4$ 約束得到標準正交基

Gram-Schmidt 的第一個向量 $v_1$ 是甚麼？

對 $w_1=(1,2,0)$ 與 $w_2=(2,0,1)$ 做前兩步 Gram-Schmidt。

若正交向量 $v_1,v_2$ 的範數分別是 3 和 4，對應的單位向量是甚麼？