內積、投影與 QR 分解

一組基給出坐標，但未必給出長度或角度。內積提供幾何結構，正交坐標則把最近點問題分成若干個互不干擾的一維問題，並導出 QR 分解。

1 內積與正交性

實內積 $\langle u,v\rangle$ 是對稱、雙線性且正定的：$v\ne0$ 時 $\langle v,v\rangle>0$。其範數為 $\|v\|=\sqrt{\langle v,v\rangle}$。正交向量的內積為零；正交規範向量組由兩兩正交的單位向量組成。

$\mathbb R^n$ 上的標準內積是 $u^Tv$。當 $W$ 是對稱正定矩陣時，加權乘積 $u^TWv$ 也是內積。在 $P_d$ 上，$\langle p,q\rangle=\int_0^1p(t)q(t)dt$ 也是內積：非零連續多項式在某點非零，其平方便在一個區間上為正，故平方的積分為正。

對上述實內積空間 $V$，以下估計成立。

定理

Cauchy-Schwarz 不等式

對所有向量 $v,w\in V$，

$$|\langle v,w\rangle|\le\|v\|\,\|w\|.$$

而且等號成立當且僅當 $v$ 與 $w$ 線性相關。

證明

用二次多項式證明

先考慮 $w=0$。此時 Cauchy-Schwarz 的兩邊同為 $0$，等號立即成立；而 包含零向量的一對向量必定線性相關。因此，不等式和上述等號條件在這個 情況都成立。

現在假設 $w\ne0$，並考慮函數

$$F(t)=\|tw-v\|^2.$$

由於範數平方永遠非負，所以對所有實數 $t$ 都有 $F(t)\ge0$。把它展 開得

$$F(t)=t^2\langle w,w\rangle-2t\langle v,w\rangle+\langle v,v\rangle.$$

由於首項係數是 $\|w\|^2>0$，這是一個真正的二次多項式。它對所有實數 都非負，因此其判別式不能為正：

$$4\langle v,w\rangle^2-4\|v\|^2\|w\|^2\le0.$$

於是

$$|\langle v,w\rangle|\le\|v\|\,\|w\|.$$

在 $w\ne0$ 的情況，Cauchy-Schwarz 取等當且僅當判別式為零，亦即 $F(t)$ 有實根。這表示存在某個實數 $t$ 使 $tw-v=0$，所以 $v$ 是 $w$ 的純量倍。反過來，若 $v$ 與 $w$ 線性相關，因 $w\ne0$，可寫成 $v=tw$，直接代入便得等號。連同 $w=0$ 的情況，這就證明了完整的等號 條件，包括其中一個或兩個向量都是零向量的所有情況。

定理

三角不等式

對所有向量 $u,v\in V$，

$$\|u+v\|\le\|u\|+\|v\|.$$

而且等號成立當且僅當 $u$ 與 $v$ 其中一個是另一個的非負純量倍，包括 其中一個是零向量的情況。

證明

兩個估計的等號必須同時成立

這裏要追蹤連續的兩個等號缺口：

$$\langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|$$

第一個缺口控制內積的符號，第二個控制線性相關性。零向量情況分開處理， 因此不需要在這些情況下歸一化。

由

$$\|u+v\|^2 =\langle u+v,u+v\rangle =\|u\|^2+2\langle u,v\rangle+\|v\|^2$$

及 Cauchy-Schwarz，

$$\langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|,$$

可得

$$\|u+v\|^2\le\|u\|^2+2\|u\|\,\|v\|+\|v\|^2=(\|u\|+\|v\|)^2.$$

兩邊取平方根便得到

$$\|u+v\|\le\|u\|+\|v\|.$$

要在最後取等，上面一連串的兩個估計都必須取等。第一個估計要求 $\langle u,v\rangle=|\langle u,v\rangle|$，即內積非負； Cauchy-Schwarz 的界取等則要求 $u$ 與 $v$ 線性相關。若兩個向量都非 零，可寫成 $v=\lambda u$，而 $\langle u,v\rangle=\lambda\|u\|^2\ge0$ 迫使 $\lambda\ge0$。若其中 一個是零向量，等號立即成立，而零向量也是另一個向量的非負純量倍。反 過來，直接代入可見，符合這個非負純量倍條件的向量必定取等。因此，兩 個非零向量方向相反時雖會令 Cauchy-Schwarz 取等，卻不會令三角不等式 取等。

不預設計數結論的有限基存在與擴充

設實向量空間 $V$ 已給定有限生成列表 $t_1,\ldots,t_N$。先證明任何線性無關列表 $u_1,\ldots,u_k$ 的長度不超過 $N$。插入 $j$ 個向量後，維持一個由 $u_1,\ldots,u_j$ 與 $N-j$ 個剩餘舊向量組成的生成列表。將 $u_{j+1}$ 按此列表展開，至少一個剩餘舊向量的係數非零；否則它在先前 $u_i$ 的張成空間中，與無關性矛盾。解出這個舊向量，再以 $u_{j+1}$ 取代它。新列表仍張成同一空間，而且保留全部先前插入向量。若 $k>N$，則 $N$ 步後前 $N$ 個向量已張成 $V$，與 $u_{N+1}$ 的無關性矛盾。此即所需上界，也包括 $N=0$。

每個子空間 $W$ 都有有限基。從空的無關列表開始；若當前張成空間尚不是 $W$，就在 $W$ 中取一個不在該張成空間內的向量。若新向量在某關係中的係數非零，就能由舊向量表示它，矛盾，故新列表仍無關。已證上界允許至多添加 $N$ 次，所以過程必停止於 $W$ 的無關生成列表。若 $W=\{0\}$，立即得到空基。改從 $W$ 內任意給定無關列表開始，同樣證明該列表可擴充為 $W$ 的基；只需有界有限次選擇。最後，若兩組基的長度為 $p,q$，分別把它們用作上界證明中的有限生成列表，得到 $p\le q$ 與 $q\le p$。故基的長度有良定義，稱為維數。這些論證補足秩–零度定理所用的基存在、擴充與維數事實。

2 投影與最近點

若 $q_1,\ldots,q_r$ 是子空間 $W$ 的正交規範基，定義

$$p=\operatorname{proj}_W b=\sum_{j=1}^r\langle b,q_j\rangle q_j.$$

那麼 $b-p$ 與每個基向量正交，從而與 $W$ 正交。

投影定理。 $p$ 是 $W$ 中使 $\|b-w\|$ 最小的唯一點。

證明。 對 $w\in W$，分解 $b-w=(b-p)+(p-w)$。兩項正交，故 $\|b-w\|^2=\|b-p\|^2+\|p-w\|^2$。第二項恰在 $w=p$ 時為零。$\square$

投影到非零向量 $a$ 張成的直線上為 $a(a^Tb)/(a^Ta)$。投影一般不是對 $b$ 的分量逐個四捨五入或截斷。

3 Gram–Schmidt 與 QR

對線性無關的欄向量 $a_1,\ldots,a_n$ 應用 Gram–Schmidt，記 $k=n$、$v_j=a_j$、$u_j=w_j$。

Gram–Schmidt 將線性無關列表 $v_1,\ldots,v_k$ 轉為張成相同逐次子空間的標準正交列表：

$$w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|.$$

每個 $w_j$ 都與之前的 $q_i$ 正交且非零；否則 $v_j$ 屬於前面向量的張成空間。零輸入或線性相關輸入要求捨去向量，而不是除以零。

因此 $A=QR$，其中 $Q$ 的欄正交規範，$R$ 為上三角矩陣，$i\le j$ 時 $r_{ij}=q_i^Ta_j$，且 $r_{jj}=\|u_j\|$ 為正。

例。 取 $a_1=(1,1,0)$ 和 $a_2=(1,0,1)$，則

$$q_1=(1,1,0)/\sqrt2,\qquad q_2=(1,-1,2)/\sqrt6,$$

並且

$$R=\begin{pmatrix}\sqrt2&1/\sqrt2\\0&\sqrt{3/2}\end{pmatrix}.$$

對 $b=(1,2,3)$，有 $Q^Tb=(3/\sqrt2,5/\sqrt6)^T$。解 $R\hat x=Q^Tb$ 得 $\hat x=(2/3,5/3)$。預測向量為 $(7/3,2/3,5/3)$，殘差為 $(-4/3,4/3,4/3)$，它與每個原始欄向量的內積均為零。

為甚麼這樣就解出了最小二乘問題？把 $b=QQ^Tb+(I-QQ^T)b$ 分成兩個互相垂直的分量，則

$$\|Ax-b\|^2=\|Rx-Q^Tb\|^2+\|(I-QQ^T)b\|^2.$$

因為 $R$ 可逆，第一項可以為零；第二項不能通過改變 $x$ 來改變。在浮點計算中，對困難的輸入，修正 Gram–Schmidt 或 Householder QR 比直接使用經典 Gram–Schmidt 更合適。這是關於數值穩定性的說明，不改變精確公式。

4 分級練習

E1 基礎。 將 $b=(2,1,0)$ 投影到 $a=(1,1,1)$ 張成的直線上，並求距離。

E2 Gram–Schmidt。 按順序將 $(1,0,1)$ 和 $(1,1,0)$ 正交規範化。

E3 最小二乘。 求 $W=\{(x,y,z):x+y+z=0\}$ 中與 $(1,0,0)$ 最近的向量。

E4 證明。 對欄正交規範的 $Q$，證明 $P=QQ^T$ 滿足 $P^T=P$ 和 $P^2=P$，並解釋 $I-P$ 的幾何意義。

5 完整解答

S1. 系數為 $(a^Tb)/(a^Ta)=3/3=1$，故投影為 $(1,1,1)$。殘差 $(1,0,-1)$ 的範數為 $\sqrt2$。

S2. $q_1=(1,0,1)/\sqrt2$。從第二個向量減去它在第一向量方向的分量，得到 $(1/2,1,-1/2)$，其範數是 $\sqrt{3/2}$，故 $q_2=(1,2,-1)/\sqrt6$。兩者點積為零，範數均為一。

S3. $W$ 的法向量為 $n=(1,1,1)$。減去法向投影：$(1,0,0)-n/3=(2/3,-1/3,-1/3)$。它屬於 $W$，且殘差與 $W$ 垂直，故它是最近點。

S4. 轉置得 $P^T=QQ^T$；$P^2=Q(Q^TQ)Q^T=QI Q^T=P$。因此 $P$ 投影到欄空間；$I-P$ 投影到其正交補，也就是欄的線性組合無法擬合的殘差方向。

總結

內積為坐標賦予幾何意義。正交投影是唯一的最近點，不只是一個方便的公式。Gram–Schmidt 構造正交規範坐標，QR 則利用這些坐標求解欄線性無關的最小二乘問題，而不必形成正規方程。