實內積、誘導範數與所需不等式
實向量空間上的內積是取值於實數的映射 ⟨ u , v ⟩ \langle u,v\rangle ⟨ u , v ⟩ ,它對稱、對每個變量線性,並且正定:v ≠ 0 v\ne0 v = 0 時 ⟨ v , v ⟩ > 0 \langle v,v\rangle>0 ⟨ v , v ⟩ > 0 。線性性給出 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 。定義 ∥ v ∥ = ⟨ v , v ⟩ \|v\|=\sqrt{\langle v,v\rangle} ∥ v ∥ = ⟨ v , v ⟩ ,則範數恰在零向量處為零,且 ∥ c v ∥ = ∣ c ∣ ∥ v ∥ \|cv\|=|c|\|v\| ∥ c v ∥ = ∣ c ∣∥ v ∥ 。R m \mathbb R^m R m 上的標準例子是 ⟨ u , v ⟩ = ∑ i = 1 m u i v i \langle u,v\rangle=\sum_{i=1}^mu_iv_i ⟨ u , v ⟩ = ∑ i = 1 m u i v i 。內積為零的向量稱為正交;不同成員互相正交且每個成員範數為一的列表稱為正交規範列表。
若 v ≠ 0 v\ne0 v = 0 ,將 t = ⟨ u , v ⟩ / ∥ v ∥ 2 t=\langle u,v\rangle/\|v\|^2 t = ⟨ u , v ⟩ /∥ v ∥ 2 代入非負平方 ∥ u − t v ∥ 2 \|u-tv\|^2 ∥ u − t v ∥ 2 ,以雙線性展開得 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 / ∥ v ∥ 2 ≥ 0 \|u\|^2-\langle u,v\rangle^2/\|v\|^2\ge0 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 /∥ v ∥ 2 ≥ 0 ,故 ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ |\langle u,v\rangle|\le\|u\|\|v\| ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥∥ v ∥ 。若 v = 0 v=0 v = 0 ,該不等式直接成立。對 v ≠ 0 v\ne0 v = 0 ,等號意味着 ∥ u − t v ∥ = 0 \|u-tv\|=0 ∥ u − t v ∥ = 0 ,等價於 u = t v u=tv u = t v ;零向量情形也取等。最後展開 ∥ u + v ∥ 2 \|u+v\|^2 ∥ u + v ∥ 2 並對交叉項使用該界,得到 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 \|u+v\|^2\le(\|u\|+\|v\|)^2 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 。待開方的兩邊非負,因此得到三角不等式。這確實定義了範數,任何非零向量的歸一化都只除以正實數;這裏不使用複雙線性的約定。
不預設計數結論的有限基存在與擴充
設實向量空間 V V V 已給定有限生成列表 t 1 , … , t N t_1,\ldots,t_N t 1 , … , t N 。先證明任何線性無關列表 u 1 , … , u k u_1,\ldots,u_k u 1 , … , u k 的長度不超過 N N N 。插入 j j j 個向量後,維持一個由 u 1 , … , u j u_1,\ldots,u_j u 1 , … , u j 與 N − j N-j N − j 個剩餘舊向量組成的生成列表。將 u j + 1 u_{j+1} u j + 1 按此列表展開,至少一個剩餘舊向量的係數非零;否則它在先前 u i u_i u i 的張成空間中,與無關性矛盾。解出這個舊向量,再以 u j + 1 u_{j+1} u j + 1 取代它。新列表仍張成同一空間,而且保留全部先前插入向量。若 k > N k>N k > N ,則 N N N 步後前 N N N 個向量已張成 V V V ,與 u N + 1 u_{N+1} u N + 1 的無關性矛盾。此即所需上界,也包括 N = 0 N=0 N = 0 。
每個子空間 W W W 都有有限基。從空的無關列表開始;若當前張成空間尚不是 W W W ,就在 W W W 中取一個不在該張成空間內的向量。若新向量在某關係中的係數非零,就能由舊向量表示它,矛盾,故新列表仍無關。已證上界允許至多添加 N N N 次,所以過程必停止於 W W W 的無關生成列表。若 W = { 0 } W=\{0\} W = { 0 } ,立即得到空基。改從 W W W 內任意給定無關列表開始,同樣證明該列表可擴充為 W W W 的基;只需有界有限次選擇。最後,若兩組基的長度為 p , q p,q p , q ,分別把它們用作上界證明中的有限生成列表,得到 p ≤ q p\le q p ≤ q 與 q ≤ p q\le p q ≤ p 。故基的長度有良定義,稱為維數。這些論證補足秩–零度定理所用的基存在、擴充與維數事實。
正交規範基,以及保留指定向量的擴充
再設 V V V 具有實正定內積。對無關列表 v 1 , … , v s v_1,\ldots,v_s v 1 , … , v s ,逐次定義
w j = v j − ∑ i < j ⟨ v j , q i ⟩ q i , q j = w j / ∥ w j ∥ . w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|. w j = v j − i < j ∑ ⟨ v j , q i ⟩ q i , q j = w j /∥ w j ∥.
歸納假設先前 q i q_i q i 正交規範。對 l < j l<j l < j 與 q l q_l q l 取內積,得 ⟨ w j , q l ⟩ = ⟨ v j , q l ⟩ − ⟨ v j , q l ⟩ = 0 \langle w_j,q_l\rangle=\langle v_j,q_l\rangle-\langle v_j,q_l\rangle=0 ⟨ w j , q l ⟩ = ⟨ v j , q l ⟩ − ⟨ v j , q l ⟩ = 0 。若 w j = 0 w_j=0 w j = 0 ,則 v j v_j v j 在先前張成空間中,矛盾,因此可合法除以它的正範數。所列公式及其移項式說明前 j j j 個新舊向量張成相同空間,歸納完成。用於一組基就得到正交規範基,子空間亦然。若要擴充一組指定的正交規範向量,先由已證定理將它擴充為普通基,再按此順序進行上述構造。原先指定的向量沒有分量被減去,範數又為一,所以全都精確保留。空列表與零子空間無需相除。這證明了 SVD 及投影存在性所用的正交規範擴充。
一旦有了內積,便可以挑出一類幾何上特別簡潔的向量族。正交性很有用,
因為它能把坐標方向分開:對一個向量取內積時,所有與它正交的方向都會
被消去。在正交基中,坐標係數因此可以直接由內積讀出,不必每次重新解
一個線性系統。
正交集定義中的非零條件不可省略。等式 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 雖然成立,
但它不能使零向量成為可用的方向。零向量的範數是零,∥ 0 ∥ 2 \|0\|^2 ∥0 ∥ 2 不能用作係數公式所要求的非零分母,也不能屬於
線性無關的向量族。
正交
定義
正交向量 若向量 v , w ∈ R m v,w\in\mathbb{R}^m v , w ∈ R m 滿足
⟨ v , w ⟩ = 0 , \langle v,w\rangle=0, ⟨ v , w ⟩ = 0 , 則稱 v v v 與 w w w 正交 ,記作
v ⊥ w . v\perp w. v ⊥ w .
這個定義是代數性的,所以適用於任意維度。在 R 2 \mathbb{R}^2 R 2 或
R 3 \mathbb{R}^3 R 3 中,它與非零向量垂直的熟悉圖像一致。到了更高維度,圖像
可能不再有幫助,但內積仍然可以檢驗同一個關係。
例題
用內積檢查正交 令
v = [ 1 2 3 ] , w = [ − 1 − 1 1 ] . v=\begin{bmatrix}1\\2\\3\end{bmatrix},\qquad
w=\begin{bmatrix}-1\\-1\\1\end{bmatrix}. v = 1 2 3 , w = − 1 − 1 1 . 則
⟨ v , w ⟩ = 1 ( − 1 ) + 2 ( − 1 ) + 3 ( 1 ) = 0. \langle v,w\rangle=1(-1)+2(-1)+3(1)=0. ⟨ v , w ⟩ = 1 ( − 1 ) + 2 ( − 1 ) + 3 ( 1 ) = 0. 兩個向量都非零,所以它們正交。它們的範數平方分別是 ∥ v ∥ 2 = 14 \|v\|^2=14 ∥ v ∥ 2 = 14 與
∥ w ∥ 2 = 3 \|w\|^2=3 ∥ w ∥ 2 = 3 ;內積為零說明的是方向關係,不是某個向量長度為零。
正交集
定義
正交集 有限集合 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 若滿足:
集內每個向量都非零;
當 i ≠ j i\neq j i = j 時,v i ⊥ v j v_i\perp v_j v i ⊥ v j ;
則稱 S S S 為 R m \mathbb{R}^m R m 中的一個 正交集 。
這兩個條件各有作用。兩兩內積為零分開不同方向,而非零條件防止零向量
冒充一個方向。若允許零向量,集合 { 0 , e 1 } \{0,e_1\} { 0 , e 1 } 會滿足所有兩兩內積為零的
等式,卻明顯線性相關。把零向量加入正交族並不會破壞這些等式,正因為如此
才必須單獨寫出非零條件。反過來,一個不含零向量的族也不一定正交,例如
⟨ e 1 , e 1 + e 2 ⟩ = 1 \langle e_1,e_1+e_2\rangle=1 ⟨ e 1 , e 1 + e 2 ⟩ = 1 。
定理
非零正交集自動線性無關 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是 R m \mathbb{R}^m R m 中的正交子集,則 S S S 線性無關。
特別地,k ≤ m k\le m k ≤ m 。
證明
為甚麼正交集必線性無關 假設有線性關係
α 1 v 1 + ⋯ + α k v k = 0. \alpha_1v_1+\cdots+\alpha_kv_k=0. α 1 v 1 + ⋯ + α k v k = 0. 固定一個指標 i i i ,對等式兩邊取與 v i v_i v i 的內積。由內積的線性性,
0 = ⟨ ∑ j = 1 k α j v j , v i ⟩ = ∑ j = 1 k α j ⟨ v j , v i ⟩ . 0=\left\langle\sum_{j=1}^k\alpha_jv_j,v_i\right\rangle
=\sum_{j=1}^k\alpha_j\langle v_j,v_i\rangle. 0 = ⟨ j = 1 ∑ k α j v j , v i ⟩ = j = 1 ∑ k α j ⟨ v j , v i ⟩ . 當 j ≠ i j\neq i j = i 時,正交性使對應內積為零,只剩下
0 = α i ⟨ v i , v i ⟩ = α i ∥ v i ∥ 2 . 0=\alpha_i\langle v_i,v_i\rangle=\alpha_i\|v_i\|^2. 0 = α i ⟨ v i , v i ⟩ = α i ∥ v i ∥ 2 . 因為 v i ≠ 0 v_i\neq0 v i = 0 ,正定性給出 ∥ v i ∥ 2 > 0 \|v_i\|^2>0 ∥ v i ∥ 2 > 0 ,所以 α i = 0 \alpha_i=0 α i = 0 。指標 i i i
是任意的,對每個指標重複這個固定指標的檢驗,就會得到所有係數都為零。
因此線性關係是平凡的,集合線性無關。R m \mathbb{R}^m R m 中的線性無關子集至多
有 m m m 個向量。
這個證明也提供一個實用方法:想孤立某個係數,就對攜帶該係數的向量取內積。
正交性消除交叉項,非零範數讓除法合法。
正交集中的坐標
係數公式只適用於目標向量屬於正交集的張成空間這一情況。這個成員條件保證
所提出的線性組合確實是目標向量的表示。
定理
正交集中的係數公式 設 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是正交集,且
v = α 1 v 1 + ⋯ + α k v k . v=\alpha_1v_1+\cdots+\alpha_kv_k. v = α 1 v 1 + ⋯ + α k v k . 則對每個 i i i ,
α i = ⟨ v , v i ⟩ ∥ v i ∥ 2 . \alpha_i=\frac{\langle v,v_i\rangle}{\|v_i\|^2}. α i = ∥ v i ∥ 2 ⟨ v , v i ⟩ . 因此
v = ∑ i = 1 k ⟨ v , v i ⟩ ∥ v i ∥ 2 v i . v=\sum_{i=1}^k\frac{\langle v,v_i\rangle}{\|v_i\|^2}v_i. v = i = 1 ∑ k ∥ v i ∥ 2 ⟨ v , v i ⟩ v i .
只要對表示式取與 v i v_i v i 的內積,交叉項便消失,留下
⟨ v , v i ⟩ = α i ∥ v i ∥ 2 \langle v,v_i\rangle=\alpha_i\|v_i\|^2 ⟨ v , v i ⟩ = α i ∥ v i ∥ 2 。由於 v i v_i v i 非零,可以相除。這個公式
是直接讀出坐標的方法,並不是張成空間的另一種定義。
定理
加權內積與勾股公式 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是正交集,且
v = ∑ i = 1 k α i v i , w = ∑ i = 1 k β i v i , v=\sum_{i=1}^k\alpha_i v_i,\qquad
w=\sum_{i=1}^k\beta_i v_i, v = i = 1 ∑ k α i v i , w = i = 1 ∑ k β i v i , 則
⟨ v , w ⟩ = ∑ i = 1 k α i β i ∥ v i ∥ 2 . \langle v,w\rangle=\sum_{i=1}^k\alpha_i\beta_i\|v_i\|^2. ⟨ v , w ⟩ = i = 1 ∑ k α i β i ∥ v i ∥ 2 . 特別地,
∥ v ∥ 2 = ∑ i = 1 k α i 2 ∥ v i ∥ 2 . \|v\|^2=\sum_{i=1}^k\alpha_i^2\|v_i\|^2. ∥ v ∥ 2 = i = 1 ∑ k α i 2 ∥ v i ∥ 2 .
證明
為甚麼只剩下相同方向 利用內積在兩個位置的線性性展開:
⟨ v , w ⟩ = ⟨ ∑ i α i v i , ∑ j β j v j ⟩ = ∑ i ∑ j α i β j ⟨ v i , v j ⟩ . \langle v,w\rangle
=\left\langle\sum_i\alpha_i v_i,\sum_j\beta_jv_j\right\rangle
=\sum_i\sum_j\alpha_i\beta_j\langle v_i,v_j\rangle. ⟨ v , w ⟩ = ⟨ i ∑ α i v i , j ∑ β j v j ⟩ = i ∑ j ∑ α i β j ⟨ v i , v j ⟩ . 當 i ≠ j i\neq j i = j 時,正交性使該項為零;當 i = j i=j i = j 時,該項是
α i β i ∥ v i ∥ 2 \alpha_i\beta_i\|v_i\|^2 α i β i ∥ v i ∥ 2 。把留下的對角項相加就得到公式。令 w = v w=v w = v 且
β i = α i \beta_i=\alpha_i β i = α i ,便得到範數平方公式。這是一個加權勾股定理:每個坐標
的貢獻由對應向量的長度平方加權。
下面的圖解集中說明這個機制:兩兩正交會消除交叉項,所以每個坐標係數都可以
由一個獨立的內積計算讀出。它也預告為甚麼把正交基正規化後,權重和分母都會
變成 1 1 1 。
例題
用內積找坐標並檢查範數 令
v 1 = [ 1 1 1 ] , v 2 = [ 1 − 1 0 ] , v 3 = [ 1 1 − 2 ] , x = [ 1 2 3 ] . v_1=\begin{bmatrix}1\\1\\1\end{bmatrix},\quad
v_2=\begin{bmatrix}1\\-1\\0\end{bmatrix},\quad
v_3=\begin{bmatrix}1\\1\\-2\end{bmatrix},\qquad
x=\begin{bmatrix}1\\2\\3\end{bmatrix}. v 1 = 1 1 1 , v 2 = 1 − 1 0 , v 3 = 1 1 − 2 , x = 1 2 3 . 先檢查幾何關係:
v 1 ⋅ v 2 = 0 , v 1 ⋅ v 3 = 0 , v 2 ⋅ v 3 = 0 , v_1\cdot v_2=0,\qquad v_1\cdot v_3=0,\qquad v_2\cdot v_3=0, v 1 ⋅ v 2 = 0 , v 1 ⋅ v 3 = 0 , v 2 ⋅ v 3 = 0 , 並且
∥ v 1 ∥ 2 = 3 , ∥ v 2 ∥ 2 = 2 , ∥ v 3 ∥ 2 = 6. \|v_1\|^2=3,\qquad \|v_2\|^2=2,\qquad \|v_3\|^2=6. ∥ v 1 ∥ 2 = 3 , ∥ v 2 ∥ 2 = 2 , ∥ v 3 ∥ 2 = 6. 所以這是一個正交集。由於三個向量都非零且兩兩正交,根據定理它們線性無關。
R 3 \mathbb{R}^3 R 3 中的三個線性無關向量構成 R 3 \mathbb{R}^3 R 3 的一組基,因此
x ∈ span { v 1 , v 2 , v 3 } x\in\operatorname{span}\{v_1,v_2,v_3\} x ∈ span { v 1 , v 2 , v 3 } 。這就在使用係數公式前核對了成員條件:
α 1 = ⟨ x , v 1 ⟩ ∥ v 1 ∥ 2 = 6 3 = 2 , α 2 = ⟨ x , v 2 ⟩ ∥ v 2 ∥ 2 = − 1 2 = − 1 2 , α 3 = ⟨ x , v 3 ⟩ ∥ v 3 ∥ 2 = − 3 6 = − 1 2 . \alpha_1=\frac{\langle x,v_1\rangle}{\|v_1\|^2}=\frac{6}{3}=2,\quad
\alpha_2=\frac{\langle x,v_2\rangle}{\|v_2\|^2}=\frac{-1}{2}=-\frac12,\quad
\alpha_3=\frac{\langle x,v_3\rangle}{\|v_3\|^2}=\frac{-3}{6}=-\frac12. α 1 = ∥ v 1 ∥ 2 ⟨ x , v 1 ⟩ = 3 6 = 2 , α 2 = ∥ v 2 ∥ 2 ⟨ x , v 2 ⟩ = 2 − 1 = − 2 1 , α 3 = ∥ v 3 ∥ 2 ⟨ x , v 3 ⟩ = 6 − 3 = − 2 1 . 代回去檢查:
2 v 1 − 1 2 v 2 − 1 2 v 3 = [ 2 2 2 ] + [ − 1 2 1 2 0 ] + [ − 1 2 − 1 2 1 ] = [ 1 2 3 ] = x . 2v_1-\frac12v_2-\frac12v_3
=\begin{bmatrix}2\\2\\2\end{bmatrix}
+\begin{bmatrix}-\frac12\\\frac12\\0\end{bmatrix}
+\begin{bmatrix}-\frac12\\-\frac12\\1\end{bmatrix}
=\begin{bmatrix}1\\2\\3\end{bmatrix}=x. 2 v 1 − 2 1 v 2 − 2 1 v 3 = 2 2 2 + − 2 1 2 1 0 + − 2 1 − 2 1 1 = 1 2 3 = x . 加權範數公式提供另一項檢查:
∥ x ∥ 2 = 2 2 ( 3 ) + ( − 1 2 ) 2 ( 2 ) + ( − 1 2 ) 2 ( 6 ) = 12 + 1 2 + 3 2 = 14. \|x\|^2=2^2(3)+\left(-\frac12\right)^2(2)+
\left(-\frac12\right)^2(6)=12+\frac12+\frac32=14. ∥ x ∥ 2 = 2 2 ( 3 ) + ( − 2 1 ) 2 ( 2 ) + ( − 2 1 ) 2 ( 6 ) = 12 + 2 1 + 2 3 = 14.
正交基與標準正交基
定義
正交基 設 V V V 是 R m \mathbb{R}^m R m 的子空間。若集合 S S S 同時是 V V V 的一組基底和正交集,
則稱 S S S 為 V V V 的 正交基 。
由於正交集已經自動線性無關,所以要檢查一個正交集是不是正交基,只需要再
檢查它是否張成所討論的子空間。
定理
正交基判準 設 V V V 是 R m \mathbb{R}^m R m 的子空間。若 S S S 是 V V V 中的正交子集,則 S S S 是
V V V 的正交基,當且僅當 S S S 張成 V V V 。
正向是基底定義的一部分;反向中,張成性補上缺少的條件,而線性無關定理補上
另一個條件。這個判準提醒我們:正交族可以獨立,卻未必張成整個環境空間。
定義
標準正交基 集合 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 若正交且每個向量的範數都是 1 1 1 ,則稱 S S S 為
標準正交集 。等價地,
⟨ v i , v j ⟩ = { 1 , i = j , 0 , i ≠ j . \langle v_i,v_j\rangle=
\begin{cases}
1,&i=j,\\
0,&i\neq j.
\end{cases} ⟨ v i , v j ⟩ = { 1 , 0 , i = j , i = j . 既是標準正交集又是基底的集合稱為 標準正交基 。零子空間 { 0 } \{0\} { 0 } 的標準
正交基是空集;任何非空基底仍由非零向量組成。
定理
標準正交基中的坐標公式 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是標準正交集,且
v ∈ span { v 1 , … , v k } , v\in\operatorname{span}\{v_1,\dots,v_k\}, v ∈ span { v 1 , … , v k } , 則
v = ⟨ v , v 1 ⟩ v 1 + ⋯ + ⟨ v , v k ⟩ v k . v=\langle v,v_1\rangle v_1+\cdots+\langle v,v_k\rangle v_k. v = ⟨ v , v 1 ⟩ v 1 + ⋯ + ⟨ v , v k ⟩ v k . 若 v = ∑ i α i v i v=\sum_i\alpha_i v_i v = ∑ i α i v i ,還滿足
∥ v ∥ 2 = α 1 2 + ⋯ + α k 2 . \|v\|^2=\alpha_1^2+\cdots+\alpha_k^2. ∥ v ∥ 2 = α 1 2 + ⋯ + α k 2 .
因為每個向量的範數是 1 1 1 ,分母自然消失,加權範數公式也變成坐標平方的普通
和式。
成員條件是公式的一部分
反例模式
係數公式不能產生缺少的分量 在 R 2 \mathbb{R}^2 R 2 中取正交集 S = { e 1 } S=\{e_1\} S = { e 1 } ,並取環境向量 v = e 2 v=e_2 v = e 2 。這裏
v ∉ span { e 1 } v\notin\operatorname{span}\{e_1\} v ∈ / span { e 1 } ,但係數表達式會給出
⟨ e 2 , e 1 ⟩ ∥ e 1 ∥ 2 e 1 = 0 ≠ e 2 . \frac{\langle e_2,e_1\rangle}{\|e_1\|^2}e_1=0\neq e_2. ∥ e 1 ∥ 2 ⟨ e 2 , e 1 ⟩ e 1 = 0 = e 2 . 所以只有先確認 v ∈ span ( S ) v\in\operatorname{span}(S) v ∈ span ( S ) ,公式才會重建 v v v 。對任意環境向量,
同一個表達式給出 v v v 在 span ( S ) \operatorname{span}(S) span ( S ) 上的正交投影;餘向量
r = v − ∑ i ⟨ v , v i ⟩ ∥ v i ∥ 2 v i r=v-\sum_i\frac{\langle v,v_i\rangle}{\|v_i\|^2}v_i r = v − i ∑ ∥ v i ∥ 2 ⟨ v , v i ⟩ v i 與每個 v i v_i v i 正交。這個餘向量正是下一節正交化過程要處理的部分。
正規化
定理
正規化正交基 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是正交集,則
S ′ = { v 1 ∥ v 1 ∥ , … , v k ∥ v k ∥ } S'=\left\{\frac{v_1}{\|v_1\|},\dots,\frac{v_k}{\|v_k\|}\right\} S ′ = { ∥ v 1 ∥ v 1 , … , ∥ v k ∥ v k } 是標準正交集,而且 span ( S ′ ) = span ( S ) \operatorname{span}(S')=\operatorname{span}(S) span ( S ′ ) = span ( S ) 。若 S S S 是
V V V 的正交基,則 S ′ S' S ′ 是 V V V 的標準正交基。
每個除數都為正,因為對應向量非零。用非零數縮放向量會保留所有線性組合,因而
保留張成空間;同時
⟨ v i / ∥ v i ∥ , v j / ∥ v j ∥ ⟩ = 0 \langle v_i/\|v_i\|,v_j/\|v_j\|\rangle=0 ⟨ v i /∥ v i ∥ , v j /∥ v j ∥ ⟩ = 0 (當 i ≠ j i\neq j i = j ),新向量的範數
都等於 1 1 1 。正規化不能修復非正交族:( 1 , 0 ) (1,0) ( 1 , 0 ) 與 ( 1 , 1 ) (1,1) ( 1 , 1 ) 正規化後的內積仍為
1 / 2 1/\sqrt2 1/ 2 ,不是零。
例題
正規化三維正交基 使用坐標例中的正交基,定義
u 1 = v 1 3 , u 2 = v 2 2 , u 3 = v 3 6 . u_1=\frac{v_1}{\sqrt3},\qquad
u_2=\frac{v_2}{\sqrt2},\qquad
u_3=\frac{v_3}{\sqrt6}. u 1 = 3 v 1 , u 2 = 2 v 2 , u 3 = 6 v 3 . 張成空間沒有改變,而且正規化後的向量滿足 ⟨ u i , u j ⟩ = δ i j \langle u_i,u_j\rangle=\delta_{ij} ⟨ u i , u j ⟩ = δ ij 。
對同一個目標向量 x x x ,標準正交坐標現在就是直接內積:
⟨ x , u 1 ⟩ = 2 3 , ⟨ x , u 2 ⟩ = − 1 2 , ⟨ x , u 3 ⟩ = − 3 6 . \langle x,u_1\rangle=2\sqrt3,\qquad
\langle x,u_2\rangle=-\frac1{\sqrt2},\qquad
\langle x,u_3\rangle=-\frac3{\sqrt6}. ⟨ x , u 1 ⟩ = 2 3 , ⟨ x , u 2 ⟩ = − 2 1 , ⟨ x , u 3 ⟩ = − 6 3 . 因此
x = 2 3 u 1 − 1 2 u 2 − 3 6 u 3 , x=2\sqrt3\,u_1-\frac1{\sqrt2}u_2-\frac3{\sqrt6}u_3, x = 2 3 u 1 − 2 1 u 2 − 6 3 u 3 , 並且
∥ x ∥ 2 = ( 2 3 ) 2 + ( − 1 2 ) 2 + ( − 3 6 ) 2 = 12 + 1 2 + 3 2 = 14. \|x\|^2=(2\sqrt3)^2+\left(-\frac1{\sqrt2}\right)^2+
\left(-\frac3{\sqrt6}\right)^2=12+\frac12+\frac32=14. ∥ x ∥ 2 = ( 2 3 ) 2 + ( − 2 1 ) 2 + ( − 6 3 ) 2 = 12 + 2 1 + 2 3 = 14.
非零向量、張成性與投影
正交集中的向量線性無關,但未必張成目標空間:{ e 1 } \{e_1\} { e 1 } 是正交集,但不能張成 R 2 \mathbb{R}^2 R 2 。
必須區分「兩個向量正交」和「一個集合是正交集」。等式 ⟨ v , w ⟩ = 0 \langle v,w\rangle=0 ⟨ v , w ⟩ = 0
允許其中一個向量為零;正交集則要求每個成員都非零。這正是線性無關證明中所用
的條件:對等式與 v i v_i v i 取內積後,要除以 ∥ v i ∥ 2 \|v_i\|^2 ∥ v i ∥ 2 ,只有 v i ≠ 0 v_i\neq0 v i = 0 時這
個數才為正。證明從不除以係數,所以即使某些係數本來就是零,證明仍然有效。
係數公式還有一個邊界條件。表達式
∑ i ⟨ v , v i ⟩ ∥ v i ∥ 2 v i \sum_i\frac{\langle v,v_i\rangle}{\|v_i\|^2}v_i i ∑ ∥ v i ∥ 2 ⟨ v , v i ⟩ v i
總會給出正交集張成空間中的向量,但只有在 v v v 屬於這個張成空間時,它才等於
給定的 v v v 。對一般向量,這個表達式是正交投影,而餘向量與每個基方向都正交。
所以成員條件不是裝飾性的技術假設;它把投影等式變成了重建等式。
加權公式也說明標準正交公式為何方便。在正交基中,較長的基向量對範數的貢獻
帶有權重 ∥ v i ∥ 2 \|v_i\|^2 ∥ v i ∥ 2 ;在標準正交基中,每個權重都是 1 1 1 。係數也同時改變:
α i = ⟨ v , v i ⟩ / ∥ v i ∥ 2 \alpha_i=\langle v,v_i\rangle/\|v_i\|^2 α i = ⟨ v , v i ⟩ /∥ v i ∥ 2 變成
α i = ⟨ v , v i ⟩ \alpha_i=\langle v,v_i\rangle α i = ⟨ v , v i ⟩ 。正規化改變的是坐標的數值表示,不改變向量本身
或其張成空間。
常見錯誤
跳過張成性或範數檢查 不能把標準正交基的係數公式用於僅僅正交的向量族,也不能在未確認分母非零前使用
正交係數公式。對於非單位的正交族,∥ v i ∥ 2 \|v_i\|^2 ∥ v i ∥ 2 分母不可省略;對於不包含目標
向量的張成空間,所得和式只是目標向量的投影。一個好的最後檢查是把係數代回線性
組合;在有幫助時,再把加權範數公式所得的數值與直接由坐標計算的範數平方比較。
空集與維數
有限集合的假設使係數論證保持具體,但這個邏輯也能說明邊界情況。空集按空真條件
是正交集,其張成空間是零子空間,因此它正是 { 0 } \{0\} { 0 } 的標準正交基。R m \mathbb{R}^m R m
中的非空正交集至多有 m m m 個成員;若恰有 m m m 個成員,它就是整個空間的基底。這裏
同時使用了論證的兩個部分:內積給出線性無關,而維數相等補上張成性。一個向量族
成為基底後,線性無關性又保證坐標唯一,所以係數公式不是只產生一個方便的展開,
而是確定唯一可能的展開。
快速檢查
思考檢查
正交集可以包含零向量嗎? 用定義回答,不要只看 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 。
解答 · 答案
思考檢查
為甚麼標準基向量 e 1 , … , e m e_1,\dots,e_m e 1 , … , e m 彼此正交?
解答 · 答案 若 i ≠ j i\neq j i = j ,則 e i T e j = 0 e_i^Te_j=0 e i T e j = 0 ,因為兩個向量中的 1 1 1 出現在不同坐標位置。
每個 e i e_i e i 都非零,所以標準基是正交集。
思考檢查
若使用標準正交基,v v v 展開式中 v i v_i v i 的係數是多少?
解答 · 答案 只要 v v v 屬於該基底的張成空間,係數就是 ⟨ v , v i ⟩ \langle v,v_i\rangle ⟨ v , v i ⟩ 。
練習
思考檢查
證明 { ( 1 , 2 ) , ( − 2 , 1 ) } \{(1,2),(-2,1)\} {( 1 , 2 ) , ( − 2 , 1 )} 是 R 2 \mathbb{R}^2 R 2 的一組正交基,並核對張成性。
解答 · 引導解答 兩向量的內積是
( 1 , 2 ) ⋅ ( − 2 , 1 ) = − 2 + 2 = 0. (1,2)\cdot(-2,1)=-2+2=0. ( 1 , 2 ) ⋅ ( − 2 , 1 ) = − 2 + 2 = 0. 兩個向量都非零,所以正交集定理使它們線性無關。R 2 \mathbb{R}^2 R 2 中的兩個
線性無關向量構成基底,因而張成 R 2 \mathbb{R}^2 R 2 。
思考檢查
令 u 1 = ( 1 , 2 ) u_1=(1,2) u 1 = ( 1 , 2 ) 、u 2 = ( − 2 , 1 ) u_2=(-2,1) u 2 = ( − 2 , 1 ) 、v = ( 0 , 5 ) v=(0,5) v = ( 0 , 5 ) 。求 v 在這組正交基下的係數。
解答 · 引導解答 因為
⟨ u 1 , u 2 ⟩ = − 2 + 2 = 0 , ∥ u 1 ∥ 2 = ∥ u 2 ∥ 2 = 5 , \langle u_1,u_2\rangle=-2+2=0,\qquad
\|u_1\|^2=\|u_2\|^2=5, ⟨ u 1 , u 2 ⟩ = − 2 + 2 = 0 , ∥ u 1 ∥ 2 = ∥ u 2 ∥ 2 = 5 , 這是一組正交向量。對 v = ( 0 , 5 ) v=(0,5) v = ( 0 , 5 ) ,
⟨ v , u 1 ⟩ = 10 , ⟨ v , u 2 ⟩ = 5. \langle v,u_1\rangle=10,\qquad \langle v,u_2\rangle=5. ⟨ v , u 1 ⟩ = 10 , ⟨ v , u 2 ⟩ = 5. 所以係數是 10 / 5 = 2 10/5=2 10/5 = 2 與 5 / 5 = 1 5/5=1 5/5 = 1 ,並且
2 ( 1 , 2 ) + ( − 2 , 1 ) = ( 0 , 5 ) = v . 2(1,2)+(-2,1)=(0,5)=v. 2 ( 1 , 2 ) + ( − 2 , 1 ) = ( 0 , 5 ) = v .
思考檢查
把正交基 { ( 3 , 4 ) , ( 4 , − 3 ) } \{(3,4),(4,-3)\} {( 3 , 4 ) , ( 4 , − 3 )} 正規化。
解答 · 引導解答 兩個向量的範數都等於 5 5 5 ,因此一組標準正交基為
{ ( 3 5 , 4 5 ) , ( 4 5 , − 3 5 ) } . \left\{
\left(\frac35,\frac45\right),
\left(\frac45,-\frac35\right)
\right\}. { ( 5 3 , 5 4 ) , ( 5 4 , − 5 3 ) } .
相關筆記
如果內積公式還不熟悉,請先讀
9.1 內積、範數與夾角 ,
因為本節公式都建立在那裏的內積與範數定義之上。
之後可繼續讀
9.3 Gram-Schmidt 正交化 ,
看看任意基底如何系統地轉成正交基。成員條件反例中的餘向量,正是那個過程的
第一步投影。
本節的基底語言也依賴
6.5 基底與維數 。