实内积、诱导范数与所需不等式
实向量空间上的内积是取值于实数的映射 ⟨ u , v ⟩ \langle u,v\rangle ⟨ u , v ⟩ ,它对称、对每个变量线性,并且正定:v ≠ 0 v\ne0 v = 0 时 ⟨ v , v ⟩ > 0 \langle v,v\rangle>0 ⟨ v , v ⟩ > 0 。线性性给出 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 。定义 ∥ v ∥ = ⟨ v , v ⟩ \|v\|=\sqrt{\langle v,v\rangle} ∥ v ∥ = ⟨ v , v ⟩ ,则范数恰在零向量处为零,且 ∥ c v ∥ = ∣ c ∣ ∥ v ∥ \|cv\|=|c|\|v\| ∥ c v ∥ = ∣ c ∣∥ v ∥ 。R m \mathbb R^m R m 上的标准例子是 ⟨ u , v ⟩ = ∑ i = 1 m u i v i \langle u,v\rangle=\sum_{i=1}^mu_iv_i ⟨ u , v ⟩ = ∑ i = 1 m u i v i 。内积为零的向量称为正交;不同成员互相正交且每个成员范数为一的列表称为正交规范列表。
若 v ≠ 0 v\ne0 v = 0 ,将 t = ⟨ u , v ⟩ / ∥ v ∥ 2 t=\langle u,v\rangle/\|v\|^2 t = ⟨ u , v ⟩ /∥ v ∥ 2 代入非负平方 ∥ u − t v ∥ 2 \|u-tv\|^2 ∥ u − t v ∥ 2 ,以双线性展开得 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 / ∥ v ∥ 2 ≥ 0 \|u\|^2-\langle u,v\rangle^2/\|v\|^2\ge0 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 /∥ v ∥ 2 ≥ 0 ,故 ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ |\langle u,v\rangle|\le\|u\|\|v\| ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥∥ v ∥ 。若 v = 0 v=0 v = 0 ,该不等式直接成立。对 v ≠ 0 v\ne0 v = 0 ,等号意味着 ∥ u − t v ∥ = 0 \|u-tv\|=0 ∥ u − t v ∥ = 0 ,等价于 u = t v u=tv u = t v ;零向量情形也取等。最后展开 ∥ u + v ∥ 2 \|u+v\|^2 ∥ u + v ∥ 2 并对交叉项使用该界,得到 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 \|u+v\|^2\le(\|u\|+\|v\|)^2 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 。待开方的两边非负,因此得到三角不等式。这确实定义了范数,任何非零向量的归一化都只除以正实数;这里不使用复双线性的约定。
不预设计数结论的有限基存在与扩充
设实向量空间 V V V 已给定有限生成列表 t 1 , … , t N t_1,\ldots,t_N t 1 , … , t N 。先证明任何线性无关列表 u 1 , … , u k u_1,\ldots,u_k u 1 , … , u k 的长度不超过 N N N 。插入 j j j 个向量后,维持一个由 u 1 , … , u j u_1,\ldots,u_j u 1 , … , u j 与 N − j N-j N − j 个剩余旧向量组成的生成列表。将 u j + 1 u_{j+1} u j + 1 按此列表展开,至少一个剩余旧向量的系数非零;否则它在先前 u i u_i u i 的张成空间中,与无关性矛盾。解出这个旧向量,再以 u j + 1 u_{j+1} u j + 1 取代它。新列表仍张成同一空间,而且保留全部先前插入向量。若 k > N k>N k > N ,则 N N N 步后前 N N N 个向量已张成 V V V ,与 u N + 1 u_{N+1} u N + 1 的无关性矛盾。此即所需上界,也包括 N = 0 N=0 N = 0 。
每个子空间 W W W 都有有限基。从空的无关列表开始;若当前张成空间尚不是 W W W ,就在 W W W 中取一个不在该张成空间内的向量。若新向量在某关系中的系数非零,就能由旧向量表示它,矛盾,故新列表仍无关。已证上界允许至多添加 N N N 次,所以过程必停止于 W W W 的无关生成列表。若 W = { 0 } W=\{0\} W = { 0 } ,立即得到空基。改从 W W W 内任意给定无关列表开始,同样证明该列表可扩充为 W W W 的基;只需有界有限次选择。最后,若两组基的长度为 p , q p,q p , q ,分别把它们用作上界证明中的有限生成列表,得到 p ≤ q p\le q p ≤ q 与 q ≤ p q\le p q ≤ p 。故基的长度有良定义,称为维数。这些论证补足秩–零度定理所用的基存在、扩充与维数事实。
正交规范基,以及保留指定向量的扩充
再设 V V V 具有实正定内积。对无关列表 v 1 , … , v s v_1,\ldots,v_s v 1 , … , v s ,逐次定义
w j = v j − ∑ i < j ⟨ v j , q i ⟩ q i , q j = w j / ∥ w j ∥ . w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|. w j = v j − i < j ∑ ⟨ v j , q i ⟩ q i , q j = w j /∥ w j ∥.
归纳假设先前 q i q_i q i 正交规范。对 l < j l<j l < j 与 q l q_l q l 取内积,得 ⟨ w j , q l ⟩ = ⟨ v j , q l ⟩ − ⟨ v j , q l ⟩ = 0 \langle w_j,q_l\rangle=\langle v_j,q_l\rangle-\langle v_j,q_l\rangle=0 ⟨ w j , q l ⟩ = ⟨ v j , q l ⟩ − ⟨ v j , q l ⟩ = 0 。若 w j = 0 w_j=0 w j = 0 ,则 v j v_j v j 在先前张成空间中,矛盾,因此可合法除以它的正范数。所列公式及其移项式说明前 j j j 个新旧向量张成相同空间,归纳完成。用于一组基就得到正交规范基,子空间亦然。若要扩充一组指定的正交规范向量,先由已证定理将它扩充为普通基,再按此顺序进行上述构造。原先指定的向量没有分量被减去,范数又为一,所以全都精确保留。空列表与零子空间无需相除。这证明了 SVD 及投影存在性所用的正交规范扩充。
一旦有了内积,便可以挑出一类几何上特别简洁的向量族。正交性很有用,
因为它能把坐标方向分开:对一个向量取内积时,所有与它正交的方向都会
被消去。在正交基中,坐标系数因此可以直接由内积读出,不必每次重新解
一个线性系统。
正交集定义中的非零条件不可省略。等式 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 虽然成立,
但它不能使零向量成为可用的方向。零向量的范数是零,∥ 0 ∥ 2 \|0\|^2 ∥0 ∥ 2 不能用作系数公式所要求的非零分母,也不能属于
线性无关的向量族。
正交
定义
正交向量 若向量 v , w ∈ R m v,w\in\mathbb{R}^m v , w ∈ R m 满足
⟨ v , w ⟩ = 0 , \langle v,w\rangle=0, ⟨ v , w ⟩ = 0 , 则称 v v v 与 w w w 正交 ,记作
v ⊥ w . v\perp w. v ⊥ w .
这个定义是代数性的,所以适用于任意维度。在 R 2 \mathbb{R}^2 R 2 或
R 3 \mathbb{R}^3 R 3 中,它与非零向量垂直的熟悉图像一致。到了更高维度,图像
可能不再有帮助,但内积仍然可以检验同一个关系。
例题
用内积检查正交 令
v = [ 1 2 3 ] , w = [ − 1 − 1 1 ] . v=\begin{bmatrix}1\\2\\3\end{bmatrix},\qquad
w=\begin{bmatrix}-1\\-1\\1\end{bmatrix}. v = 1 2 3 , w = − 1 − 1 1 . 则
⟨ v , w ⟩ = 1 ( − 1 ) + 2 ( − 1 ) + 3 ( 1 ) = 0. \langle v,w\rangle=1(-1)+2(-1)+3(1)=0. ⟨ v , w ⟩ = 1 ( − 1 ) + 2 ( − 1 ) + 3 ( 1 ) = 0. 两个向量都非零,所以它们正交。它们的范数平方分别是 ∥ v ∥ 2 = 14 \|v\|^2=14 ∥ v ∥ 2 = 14 与
∥ w ∥ 2 = 3 \|w\|^2=3 ∥ w ∥ 2 = 3 ;内积为零说明的是方向关系,不是某个向量长度为零。
正交集
定义
正交集 有限集合 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 若满足:
集内每个向量都非零;
当 i ≠ j i\neq j i = j 时,v i ⊥ v j v_i\perp v_j v i ⊥ v j ;
则称 S S S 为 R m \mathbb{R}^m R m 中的一个 正交集 。
这两个条件各有作用。两两内积为零分开不同方向,而非零条件防止零向量
冒充一个方向。若允许零向量,集合 { 0 , e 1 } \{0,e_1\} { 0 , e 1 } 会满足所有两两内积为零的
等式,却明显线性相关。把零向量加入正交族并不会破坏这些等式,正因为如此
才必须单独写出非零条件。反过来,一个不含零向量的族也不一定正交,例如
⟨ e 1 , e 1 + e 2 ⟩ = 1 \langle e_1,e_1+e_2\rangle=1 ⟨ e 1 , e 1 + e 2 ⟩ = 1 。
定理
非零正交集自动线性无关 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是 R m \mathbb{R}^m R m 中的正交子集,则 S S S 线性无关。
特别地,k ≤ m k\le m k ≤ m 。
证明
为什么正交集必线性无关 假设有线性关系
α 1 v 1 + ⋯ + α k v k = 0. \alpha_1v_1+\cdots+\alpha_kv_k=0. α 1 v 1 + ⋯ + α k v k = 0. 固定一个指标 i i i ,对等式两边取与 v i v_i v i 的内积。由内积的线性性,
0 = ⟨ ∑ j = 1 k α j v j , v i ⟩ = ∑ j = 1 k α j ⟨ v j , v i ⟩ . 0=\left\langle\sum_{j=1}^k\alpha_jv_j,v_i\right\rangle
=\sum_{j=1}^k\alpha_j\langle v_j,v_i\rangle. 0 = ⟨ j = 1 ∑ k α j v j , v i ⟩ = j = 1 ∑ k α j ⟨ v j , v i ⟩ . 当 j ≠ i j\neq i j = i 时,正交性使对应内积为零,只剩下
0 = α i ⟨ v i , v i ⟩ = α i ∥ v i ∥ 2 . 0=\alpha_i\langle v_i,v_i\rangle=\alpha_i\|v_i\|^2. 0 = α i ⟨ v i , v i ⟩ = α i ∥ v i ∥ 2 . 因为 v i ≠ 0 v_i\neq0 v i = 0 ,正定性给出 ∥ v i ∥ 2 > 0 \|v_i\|^2>0 ∥ v i ∥ 2 > 0 ,所以 α i = 0 \alpha_i=0 α i = 0 。指标 i i i
是任意的,对每个指标重复这个固定指标的检验,就会得到所有系数都为零。
因此线性关系是平凡的,集合线性无关。R m \mathbb{R}^m R m 中的线性无关子集至多
有 m m m 个向量。
这个证明也提供一个实用方法:想孤立某个系数,就对携带该系数的向量取内积。
正交性消除交叉项,非零范数让除法合法。
正交集中的坐标
系数公式只适用于目标向量属于正交集的张成空间这一情况。这个成员条件保证
所提出的线性组合确实是目标向量的表示。
定理
正交集中的系数公式 设 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是正交集,且
v = α 1 v 1 + ⋯ + α k v k . v=\alpha_1v_1+\cdots+\alpha_kv_k. v = α 1 v 1 + ⋯ + α k v k . 则对每个 i i i ,
α i = ⟨ v , v i ⟩ ∥ v i ∥ 2 . \alpha_i=\frac{\langle v,v_i\rangle}{\|v_i\|^2}. α i = ∥ v i ∥ 2 ⟨ v , v i ⟩ . 因此
v = ∑ i = 1 k ⟨ v , v i ⟩ ∥ v i ∥ 2 v i . v=\sum_{i=1}^k\frac{\langle v,v_i\rangle}{\|v_i\|^2}v_i. v = i = 1 ∑ k ∥ v i ∥ 2 ⟨ v , v i ⟩ v i .
只要对表示式取与 v i v_i v i 的内积,交叉项便消失,留下
⟨ v , v i ⟩ = α i ∥ v i ∥ 2 \langle v,v_i\rangle=\alpha_i\|v_i\|^2 ⟨ v , v i ⟩ = α i ∥ v i ∥ 2 。由于 v i v_i v i 非零,可以相除。这个公式
是直接读出坐标的方法,并不是张成空间的另一种定义。
定理
加权内积与勾股公式 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是正交集,且
v = ∑ i = 1 k α i v i , w = ∑ i = 1 k β i v i , v=\sum_{i=1}^k\alpha_i v_i,\qquad
w=\sum_{i=1}^k\beta_i v_i, v = i = 1 ∑ k α i v i , w = i = 1 ∑ k β i v i , 则
⟨ v , w ⟩ = ∑ i = 1 k α i β i ∥ v i ∥ 2 . \langle v,w\rangle=\sum_{i=1}^k\alpha_i\beta_i\|v_i\|^2. ⟨ v , w ⟩ = i = 1 ∑ k α i β i ∥ v i ∥ 2 . 特别地,
∥ v ∥ 2 = ∑ i = 1 k α i 2 ∥ v i ∥ 2 . \|v\|^2=\sum_{i=1}^k\alpha_i^2\|v_i\|^2. ∥ v ∥ 2 = i = 1 ∑ k α i 2 ∥ v i ∥ 2 .
证明
为什么只剩下相同方向 利用内积在两个位置的线性性展开:
⟨ v , w ⟩ = ⟨ ∑ i α i v i , ∑ j β j v j ⟩ = ∑ i ∑ j α i β j ⟨ v i , v j ⟩ . \langle v,w\rangle
=\left\langle\sum_i\alpha_i v_i,\sum_j\beta_jv_j\right\rangle
=\sum_i\sum_j\alpha_i\beta_j\langle v_i,v_j\rangle. ⟨ v , w ⟩ = ⟨ i ∑ α i v i , j ∑ β j v j ⟩ = i ∑ j ∑ α i β j ⟨ v i , v j ⟩ . 当 i ≠ j i\neq j i = j 时,正交性使该项为零;当 i = j i=j i = j 时,该项是
α i β i ∥ v i ∥ 2 \alpha_i\beta_i\|v_i\|^2 α i β i ∥ v i ∥ 2 。把留下的对角项相加就得到公式。令 w = v w=v w = v 且
β i = α i \beta_i=\alpha_i β i = α i ,便得到范数平方公式。这是一个加权勾股定理:每个坐标
的贡献由对应向量的长度平方加权。
下面的图解集中说明这个机制:两两正交会消除交叉项,所以每个坐标系数都可以
由一个独立的内积计算读出。它也预告为什么把正交基规范化后,权重和分母都会
变成 1 1 1 。
例题
用内积找坐标并检查范数 令
v 1 = [ 1 1 1 ] , v 2 = [ 1 − 1 0 ] , v 3 = [ 1 1 − 2 ] , x = [ 1 2 3 ] . v_1=\begin{bmatrix}1\\1\\1\end{bmatrix},\quad
v_2=\begin{bmatrix}1\\-1\\0\end{bmatrix},\quad
v_3=\begin{bmatrix}1\\1\\-2\end{bmatrix},\qquad
x=\begin{bmatrix}1\\2\\3\end{bmatrix}. v 1 = 1 1 1 , v 2 = 1 − 1 0 , v 3 = 1 1 − 2 , x = 1 2 3 . 先检查几何关系:
v 1 ⋅ v 2 = 0 , v 1 ⋅ v 3 = 0 , v 2 ⋅ v 3 = 0 , v_1\cdot v_2=0,\qquad v_1\cdot v_3=0,\qquad v_2\cdot v_3=0, v 1 ⋅ v 2 = 0 , v 1 ⋅ v 3 = 0 , v 2 ⋅ v 3 = 0 , 并且
∥ v 1 ∥ 2 = 3 , ∥ v 2 ∥ 2 = 2 , ∥ v 3 ∥ 2 = 6. \|v_1\|^2=3,\qquad \|v_2\|^2=2,\qquad \|v_3\|^2=6. ∥ v 1 ∥ 2 = 3 , ∥ v 2 ∥ 2 = 2 , ∥ v 3 ∥ 2 = 6. 所以这是一个正交集。由于三个向量都非零且两两正交,根据定理它们线性无关。
R 3 \mathbb{R}^3 R 3 中的三个线性无关向量构成 R 3 \mathbb{R}^3 R 3 的一组基,因此
x ∈ span { v 1 , v 2 , v 3 } x\in\operatorname{span}\{v_1,v_2,v_3\} x ∈ span { v 1 , v 2 , v 3 } 。这就在使用系数公式前核对了成员条件:
α 1 = ⟨ x , v 1 ⟩ ∥ v 1 ∥ 2 = 6 3 = 2 , α 2 = ⟨ x , v 2 ⟩ ∥ v 2 ∥ 2 = − 1 2 = − 1 2 , α 3 = ⟨ x , v 3 ⟩ ∥ v 3 ∥ 2 = − 3 6 = − 1 2 . \alpha_1=\frac{\langle x,v_1\rangle}{\|v_1\|^2}=\frac{6}{3}=2,\quad
\alpha_2=\frac{\langle x,v_2\rangle}{\|v_2\|^2}=\frac{-1}{2}=-\frac12,\quad
\alpha_3=\frac{\langle x,v_3\rangle}{\|v_3\|^2}=\frac{-3}{6}=-\frac12. α 1 = ∥ v 1 ∥ 2 ⟨ x , v 1 ⟩ = 3 6 = 2 , α 2 = ∥ v 2 ∥ 2 ⟨ x , v 2 ⟩ = 2 − 1 = − 2 1 , α 3 = ∥ v 3 ∥ 2 ⟨ x , v 3 ⟩ = 6 − 3 = − 2 1 . 代回去检查:
2 v 1 − 1 2 v 2 − 1 2 v 3 = [ 2 2 2 ] + [ − 1 2 1 2 0 ] + [ − 1 2 − 1 2 1 ] = [ 1 2 3 ] = x . 2v_1-\frac12v_2-\frac12v_3
=\begin{bmatrix}2\\2\\2\end{bmatrix}
+\begin{bmatrix}-\frac12\\\frac12\\0\end{bmatrix}
+\begin{bmatrix}-\frac12\\-\frac12\\1\end{bmatrix}
=\begin{bmatrix}1\\2\\3\end{bmatrix}=x. 2 v 1 − 2 1 v 2 − 2 1 v 3 = 2 2 2 + − 2 1 2 1 0 + − 2 1 − 2 1 1 = 1 2 3 = x . 加权范数公式提供另一项检查:
∥ x ∥ 2 = 2 2 ( 3 ) + ( − 1 2 ) 2 ( 2 ) + ( − 1 2 ) 2 ( 6 ) = 12 + 1 2 + 3 2 = 14. \|x\|^2=2^2(3)+\left(-\frac12\right)^2(2)+
\left(-\frac12\right)^2(6)=12+\frac12+\frac32=14. ∥ x ∥ 2 = 2 2 ( 3 ) + ( − 2 1 ) 2 ( 2 ) + ( − 2 1 ) 2 ( 6 ) = 12 + 2 1 + 2 3 = 14.
正交基与标准正交基
定义
正交基 设 V V V 是 R m \mathbb{R}^m R m 的子空间。若集合 S S S 同时是 V V V 的一组基底和正交集,
则称 S S S 为 V V V 的 正交基 。
由于正交集已经自动线性无关,所以要检查一个正交集是不是正交基,只需要再
检查它是否张成所讨论的子空间。
定理
正交基判准 设 V V V 是 R m \mathbb{R}^m R m 的子空间。若 S S S 是 V V V 中的正交子集,则 S S S 是
V V V 的正交基,当且仅当 S S S 张成 V V V 。
正向是基底定义的一部分;反向中,张成性补上缺少的条件,而线性无关定理补上
另一个条件。这个判准提醒我们:正交族可以独立,却未必张成整个环境空间。
定义
标准正交基 集合 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 若正交且每个向量的范数都是 1 1 1 ,则称 S S S 为
标准正交集 。等价地,
⟨ v i , v j ⟩ = { 1 , i = j , 0 , i ≠ j . \langle v_i,v_j\rangle=
\begin{cases}
1,&i=j,\\
0,&i\neq j.
\end{cases} ⟨ v i , v j ⟩ = { 1 , 0 , i = j , i = j . 既是标准正交集又是基底的集合称为 标准正交基 。零子空间 { 0 } \{0\} { 0 } 的标准
正交基是空集;任何非空基底仍由非零向量组成。
定理
标准正交基中的坐标公式 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是标准正交集,且
v ∈ span { v 1 , … , v k } , v\in\operatorname{span}\{v_1,\dots,v_k\}, v ∈ span { v 1 , … , v k } , 则
v = ⟨ v , v 1 ⟩ v 1 + ⋯ + ⟨ v , v k ⟩ v k . v=\langle v,v_1\rangle v_1+\cdots+\langle v,v_k\rangle v_k. v = ⟨ v , v 1 ⟩ v 1 + ⋯ + ⟨ v , v k ⟩ v k . 若 v = ∑ i α i v i v=\sum_i\alpha_i v_i v = ∑ i α i v i ,还满足
∥ v ∥ 2 = α 1 2 + ⋯ + α k 2 . \|v\|^2=\alpha_1^2+\cdots+\alpha_k^2. ∥ v ∥ 2 = α 1 2 + ⋯ + α k 2 .
因为每个向量的范数是 1 1 1 ,分母自然消失,加权范数公式也变成坐标平方的普通
和式。
成员条件是公式的一部分
反例模式
系数公式不能产生缺少的分量 在 R 2 \mathbb{R}^2 R 2 中取正交集 S = { e 1 } S=\{e_1\} S = { e 1 } ,并取环境向量 v = e 2 v=e_2 v = e 2 。这里
v ∉ span { e 1 } v\notin\operatorname{span}\{e_1\} v ∈ / span { e 1 } ,但系数表达式会给出
⟨ e 2 , e 1 ⟩ ∥ e 1 ∥ 2 e 1 = 0 ≠ e 2 . \frac{\langle e_2,e_1\rangle}{\|e_1\|^2}e_1=0\neq e_2. ∥ e 1 ∥ 2 ⟨ e 2 , e 1 ⟩ e 1 = 0 = e 2 . 所以只有先确认 v ∈ span ( S ) v\in\operatorname{span}(S) v ∈ span ( S ) ,公式才会重建 v v v 。对任意环境向量,
同一个表达式给出 v v v 在 span ( S ) \operatorname{span}(S) span ( S ) 上的正交投影;余向量
r = v − ∑ i ⟨ v , v i ⟩ ∥ v i ∥ 2 v i r=v-\sum_i\frac{\langle v,v_i\rangle}{\|v_i\|^2}v_i r = v − i ∑ ∥ v i ∥ 2 ⟨ v , v i ⟩ v i 与每个 v i v_i v i 正交。这个余向量正是下一节正交化过程要处理的部分。
规范化
定理
规范化正交基 若 S = { v 1 , … , v k } S=\{v_1,\dots,v_k\} S = { v 1 , … , v k } 是正交集,则
S ′ = { v 1 ∥ v 1 ∥ , … , v k ∥ v k ∥ } S'=\left\{\frac{v_1}{\|v_1\|},\dots,\frac{v_k}{\|v_k\|}\right\} S ′ = { ∥ v 1 ∥ v 1 , … , ∥ v k ∥ v k } 是标准正交集,而且 span ( S ′ ) = span ( S ) \operatorname{span}(S')=\operatorname{span}(S) span ( S ′ ) = span ( S ) 。若 S S S 是
V V V 的正交基,则 S ′ S' S ′ 是 V V V 的标准正交基。
每个除数都为正,因为对应向量非零。用非零数缩放向量会保留所有线性组合,因而
保留张成空间;同时
⟨ v i / ∥ v i ∥ , v j / ∥ v j ∥ ⟩ = 0 \langle v_i/\|v_i\|,v_j/\|v_j\|\rangle=0 ⟨ v i /∥ v i ∥ , v j /∥ v j ∥ ⟩ = 0 (当 i ≠ j i\neq j i = j ),新向量的范数
都等于 1 1 1 。规范化不能修复非正交族:( 1 , 0 ) (1,0) ( 1 , 0 ) 与 ( 1 , 1 ) (1,1) ( 1 , 1 ) 规范化后的内积仍为
1 / 2 1/\sqrt2 1/ 2 ,不是零。
例题
规范化三维正交基 使用坐标例中的正交基,定义
u 1 = v 1 3 , u 2 = v 2 2 , u 3 = v 3 6 . u_1=\frac{v_1}{\sqrt3},\qquad
u_2=\frac{v_2}{\sqrt2},\qquad
u_3=\frac{v_3}{\sqrt6}. u 1 = 3 v 1 , u 2 = 2 v 2 , u 3 = 6 v 3 . 张成空间没有改变,而且规范化后的向量满足 ⟨ u i , u j ⟩ = δ i j \langle u_i,u_j\rangle=\delta_{ij} ⟨ u i , u j ⟩ = δ ij 。
对同一个目标向量 x x x ,标准正交坐标现在就是直接内积:
⟨ x , u 1 ⟩ = 2 3 , ⟨ x , u 2 ⟩ = − 1 2 , ⟨ x , u 3 ⟩ = − 3 6 . \langle x,u_1\rangle=2\sqrt3,\qquad
\langle x,u_2\rangle=-\frac1{\sqrt2},\qquad
\langle x,u_3\rangle=-\frac3{\sqrt6}. ⟨ x , u 1 ⟩ = 2 3 , ⟨ x , u 2 ⟩ = − 2 1 , ⟨ x , u 3 ⟩ = − 6 3 . 因此
x = 2 3 u 1 − 1 2 u 2 − 3 6 u 3 , x=2\sqrt3\,u_1-\frac1{\sqrt2}u_2-\frac3{\sqrt6}u_3, x = 2 3 u 1 − 2 1 u 2 − 6 3 u 3 , 并且
∥ x ∥ 2 = ( 2 3 ) 2 + ( − 1 2 ) 2 + ( − 3 6 ) 2 = 12 + 1 2 + 3 2 = 14. \|x\|^2=(2\sqrt3)^2+\left(-\frac1{\sqrt2}\right)^2+
\left(-\frac3{\sqrt6}\right)^2=12+\frac12+\frac32=14. ∥ x ∥ 2 = ( 2 3 ) 2 + ( − 2 1 ) 2 + ( − 6 3 ) 2 = 12 + 2 1 + 2 3 = 14.
非零向量、张成性与投影
正交集中的向量线性无关,但未必张成目标空间:{ e 1 } \{e_1\} { e 1 } 是正交集,但不能张成 R 2 \mathbb{R}^2 R 2 。
必须区分“两个向量正交”和“一个集合是正交集”。等式 ⟨ v , w ⟩ = 0 \langle v,w\rangle=0 ⟨ v , w ⟩ = 0
允许其中一个向量为零;正交集则要求每个成员都非零。这正是线性无关证明中所用
的条件:对等式与 v i v_i v i 取内积后,要除以 ∥ v i ∥ 2 \|v_i\|^2 ∥ v i ∥ 2 ,只有 v i ≠ 0 v_i\neq0 v i = 0 时这
个数才为正。证明从不除以系数,所以即使某些系数本来就是零,证明仍然有效。
系数公式还有一个边界条件。表达式
∑ i ⟨ v , v i ⟩ ∥ v i ∥ 2 v i \sum_i\frac{\langle v,v_i\rangle}{\|v_i\|^2}v_i i ∑ ∥ v i ∥ 2 ⟨ v , v i ⟩ v i
总会给出正交集张成空间中的向量,但只有在 v v v 属于这个张成空间时,它才等于
给定的 v v v 。对一般向量,这个表达式是正交投影,而剩余向量与每个基方向都正交。
所以成员条件不是装饰性的技术假设;它把投影等式变成了重建等式。
加权公式也说明了标准正交公式为何方便。在正交基中,较长的基向量对范数的贡献
带有权重 ∥ v i ∥ 2 \|v_i\|^2 ∥ v i ∥ 2 ;在标准正交基中,每个权重都是 1 1 1 。系数也同时改变:
α i = ⟨ v , v i ⟩ / ∥ v i ∥ 2 \alpha_i=\langle v,v_i\rangle/\|v_i\|^2 α i = ⟨ v , v i ⟩ /∥ v i ∥ 2 变成
α i = ⟨ v , v i ⟩ \alpha_i=\langle v,v_i\rangle α i = ⟨ v , v i ⟩ 。规范化改变的是坐标的数值表示,不改变向量本身
或其张成空间。
常见错误
跳过张成性或范数检查 不能把标准正交基的系数公式用于仅仅正交的向量族,也不能在未确认分母非零前使用
正交系数公式。对于非单位的正交族,∥ v i ∥ 2 \|v_i\|^2 ∥ v i ∥ 2 分母不可省略;对于不包含目标
向量的张成空间,所得和式只是目标向量的投影。一个好的最后检查是把系数代回线性
组合;在有帮助时,再把加权范数公式所得的数值与直接由坐标计算的范数平方比较。
空集与维数
有限集合的假设使系数论证保持具体,但这个逻辑也能说明边界情况。空集按空真条件
是正交集,其张成空间是零子空间,因此它正是 { 0 } \{0\} { 0 } 的标准正交基。R m \mathbb{R}^m R m
中的非空正交集至多有 m m m 个成员;若恰有 m m m 个成员,它就是整个空间的基底。这里
同时使用了论证的两个部分:内积给出线性无关,而维数相等补上张成性。一个向量族
成为基底后,线性无关性又保证坐标唯一,所以系数公式不是只产生一个方便的展开,
而是确定唯一可能的展开。
快速检查
思考检查
正交集可以包含零向量吗? 用定义回答,不要只看 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 。
解答 · 答案
思考检查
为什么标准基向量 e 1 , … , e m e_1,\dots,e_m e 1 , … , e m 彼此正交?
解答 · 答案 若 i ≠ j i\neq j i = j ,则 e i T e j = 0 e_i^Te_j=0 e i T e j = 0 ,因为两个向量中的 1 1 1 出现在不同坐标位置。
每个 e i e_i e i 都非零,所以标准基是正交集。
思考检查
若使用标准正交基,v v v 展开式中 v i v_i v i 的系数是多少?
解答 · 答案 只要 v v v 属于该基底的张成空间,系数就是 ⟨ v , v i ⟩ \langle v,v_i\rangle ⟨ v , v i ⟩ 。
练习
思考检查
证明 { ( 1 , 2 ) , ( − 2 , 1 ) } \{(1,2),(-2,1)\} {( 1 , 2 ) , ( − 2 , 1 )} 是 R 2 \mathbb{R}^2 R 2 的一组正交基,并核对张成性。
解答 · 引导解答 两向量的内积是
( 1 , 2 ) ⋅ ( − 2 , 1 ) = − 2 + 2 = 0. (1,2)\cdot(-2,1)=-2+2=0. ( 1 , 2 ) ⋅ ( − 2 , 1 ) = − 2 + 2 = 0. 两个向量都非零,所以正交集定理使它们线性无关。R 2 \mathbb{R}^2 R 2 中的两个
线性无关向量构成基底,因而张成 R 2 \mathbb{R}^2 R 2 。
思考检查
令 u 1 = ( 1 , 2 ) u_1=(1,2) u 1 = ( 1 , 2 ) 、u 2 = ( − 2 , 1 ) u_2=(-2,1) u 2 = ( − 2 , 1 ) 、v = ( 0 , 5 ) v=(0,5) v = ( 0 , 5 ) 。求 v 在这组正交基下的系数。
解答 · 引导解答 因为
⟨ u 1 , u 2 ⟩ = − 2 + 2 = 0 , ∥ u 1 ∥ 2 = ∥ u 2 ∥ 2 = 5 , \langle u_1,u_2\rangle=-2+2=0,\qquad
\|u_1\|^2=\|u_2\|^2=5, ⟨ u 1 , u 2 ⟩ = − 2 + 2 = 0 , ∥ u 1 ∥ 2 = ∥ u 2 ∥ 2 = 5 , 这是一组正交向量。对 v = ( 0 , 5 ) v=(0,5) v = ( 0 , 5 ) ,
⟨ v , u 1 ⟩ = 10 , ⟨ v , u 2 ⟩ = 5. \langle v,u_1\rangle=10,\qquad \langle v,u_2\rangle=5. ⟨ v , u 1 ⟩ = 10 , ⟨ v , u 2 ⟩ = 5. 所以系数是 10 / 5 = 2 10/5=2 10/5 = 2 与 5 / 5 = 1 5/5=1 5/5 = 1 ,并且
2 ( 1 , 2 ) + ( − 2 , 1 ) = ( 0 , 5 ) = v . 2(1,2)+(-2,1)=(0,5)=v. 2 ( 1 , 2 ) + ( − 2 , 1 ) = ( 0 , 5 ) = v .
思考检查
把正交基 { ( 3 , 4 ) , ( 4 , − 3 ) } \{(3,4),(4,-3)\} {( 3 , 4 ) , ( 4 , − 3 )} 规范化。
解答 · 引导解答 两个向量的范数都等于 5 5 5 ,因此一组标准正交基为
{ ( 3 5 , 4 5 ) , ( 4 5 , − 3 5 ) } . \left\{
\left(\frac35,\frac45\right),
\left(\frac45,-\frac35\right)
\right\}. { ( 5 3 , 5 4 ) , ( 5 4 , − 5 3 ) } .
相关笔记
如果内积公式还不熟悉,请先读
9.1 内积、范数与夹角 ,
因为本节公式都建立在那里的内积与范数定义之上。
之后可继续读
9.3 Gram-Schmidt 正交化 ,
看看任意基底如何系统地转成正交基。成员条件反例中的余向量,正是那个过程的
第一步投影。
本节的基底语言也依赖
6.5 基底与维数 。