实内积、诱导范数与所需不等式
实向量空间上的内积是取值于实数的映射 ⟨ u , v ⟩ \langle u,v\rangle ⟨ u , v ⟩ ,它对称、对每个变量线性,并且正定:v ≠ 0 v\ne0 v = 0 时 ⟨ v , v ⟩ > 0 \langle v,v\rangle>0 ⟨ v , v ⟩ > 0 。线性性给出 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 。定义 ∥ v ∥ = ⟨ v , v ⟩ \|v\|=\sqrt{\langle v,v\rangle} ∥ v ∥ = ⟨ v , v ⟩ ,则范数恰在零向量处为零,且 ∥ c v ∥ = ∣ c ∣ ∥ v ∥ \|cv\|=|c|\|v\| ∥ c v ∥ = ∣ c ∣∥ v ∥ 。R m \mathbb R^m R m 上的标准例子是 ⟨ u , v ⟩ = ∑ i = 1 m u i v i \langle u,v\rangle=\sum_{i=1}^mu_iv_i ⟨ u , v ⟩ = ∑ i = 1 m u i v i 。内积为零的向量称为正交;不同成员互相正交且每个成员范数为一的列表称为正交规范列表。
若 v ≠ 0 v\ne0 v = 0 ,将 t = ⟨ u , v ⟩ / ∥ v ∥ 2 t=\langle u,v\rangle/\|v\|^2 t = ⟨ u , v ⟩ /∥ v ∥ 2 代入非负平方 ∥ u − t v ∥ 2 \|u-tv\|^2 ∥ u − t v ∥ 2 ,以双线性展开得 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 / ∥ v ∥ 2 ≥ 0 \|u\|^2-\langle u,v\rangle^2/\|v\|^2\ge0 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 /∥ v ∥ 2 ≥ 0 ,故 ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ |\langle u,v\rangle|\le\|u\|\|v\| ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥∥ v ∥ 。若 v = 0 v=0 v = 0 ,该不等式直接成立。对 v ≠ 0 v\ne0 v = 0 ,等号意味着 ∥ u − t v ∥ = 0 \|u-tv\|=0 ∥ u − t v ∥ = 0 ,等价于 u = t v u=tv u = t v ;零向量情形也取等。最后展开 ∥ u + v ∥ 2 \|u+v\|^2 ∥ u + v ∥ 2 并对交叉项使用该界,得到 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 \|u+v\|^2\le(\|u\|+\|v\|)^2 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 。待开方的两边非负,因此得到三角不等式。这确实定义了范数,任何非零向量的归一化都只除以正实数;这里不使用复双线性的约定。
控制长度平方中的交叉项
内积给你长度与夹角的公式。接下来的问题是:这些公式究竟受到什么限制?
两条不等式给出了相应的界:
Cauchy-Schwarz 不等式控制内积的大小,不会超过两个向量长度的乘积;
三角不等式说明,由 0 0 0 走到 u + v u+v u + v 的直路,永远不会比先走 u u u 再走
v v v 更长。
这两条不等式说明欧氏几何为何能够用代数语言表达。
困难会在展开范数平方时出现。例如,∥ u + v ∥ 2 \|u+v\|^2 ∥ u + v ∥ 2 含有带符号的交叉项
2 ⟨ u , v ⟩ 2\langle u,v\rangle 2 ⟨ u , v ⟩ ,但长度必须非负,而且最好能在不知道向量坐标的
情况下加以控制。Cauchy-Schwarz 恰好提供这个控制;它把上述代数展开转
化为三角不等式。各个等号条件则进一步记录两个向量是在同一条射线上,
还是在同一直线的相反方向上。相同的估计还说明:向量只有小幅变化时,
其长度以及与固定向量的内积也只会小幅变化。
按这个次序证明还有结构上的理由。由内积公理可立即得到诱导长度的非负
性与齐次性,三角不等式却并非直接可见。只有先用 Cauchy-Schwarz 控制
交叉项,范数的全部公理才告成立,而 d ( x , y ) = ∥ x − y ∥ d(x,y)=\|x-y\| d ( x , y ) = ∥ x − y ∥ 也才真正成为度
量。因此,本节不只汇集几条方便的估计;它完成了由内积到长度、距离与
夹角的逻辑过渡。
实内积空间中的约定
定义
实内积空间与诱导范数 本节始终假设 V V V 是一个实 内积空间。因此
⟨ ⋅ , ⋅ ⟩ \langle\cdot,\cdot\rangle ⟨ ⋅ , ⋅ ⟩ 取实数值,并满足双线性、对称性与正定性。
由内积诱导的范数定义为
∥ x ∥ = ⟨ x , x ⟩ , \|x\|=\sqrt{\langle x,x\rangle}, ∥ x ∥ = ⟨ x , x ⟩ , 所以 ∥ x ∥ ≥ 0 \|x\|\ge0 ∥ x ∥ ≥ 0 ,而且等号成立当且仅当 x = 0 x=0 x = 0 。标准模型是带点积的
V = R m V=\mathbb{R}^m V = R m ,不过下面的证明只用到实内积公理,所以对任意实内积
空间都成立。
若存在不全为零的实数 a , b a,b a , b 使 a v + b w = 0 av+bw=0 a v + b w = 0 ,就称 v , w v,w v , w 线性相关。按这
个定义,任何包含零向量的向量对都线性相关。要在不另行排除零向量的情
况下准确陈述等号条件,这项约定不可省略。复内积空间涉及共轭线性,而
夹角也需要另一番讨论;本节并未把它们默默纳入当前陈述。
Cauchy-Schwarz 不等式
定理
Cauchy-Schwarz 不等式 对所有向量 v , w ∈ V v,w\in V v , w ∈ V ,
∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥ . |\langle v,w\rangle|\le\|v\|\,\|w\|. ∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥. 而且等号成立当且仅当 v v v 与 w w w 线性相关。
这条不等式表示:内积的绝对值,不可能大过两个向量长度的乘积。对非零
向量 v v v 与 w w w ,下列商落在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 内,因此可完整定义两者的夹角为
θ = arccos ( ⟨ v , w ⟩ ∥ v ∥ ∥ w ∥ ) ∈ [ 0 , π ] . \theta=
\arccos\!\left(
\frac{\langle v,w\rangle}{\|v\|\,\|w\|}
\right)\in[0,\pi]. θ = arccos ( ∥ v ∥ ∥ w ∥ ⟨ v , w ⟩ ) ∈ [ 0 , π ] .
等价地,cos θ = ⟨ v , w ⟩ / ( ∥ v ∥ ∥ w ∥ ) \cos\theta=\langle v,w\rangle/(\|v\|\,\|w\|) cos θ = ⟨ v , w ⟩ / ( ∥ v ∥ ∥ w ∥ ) 。若其中一个
向量是零向量,分母便为零,所以此公式不能定义夹角。对非零向量而言,
θ = 0 \theta=0 θ = 0 表示它们在同一条射线上,θ = π / 2 \theta=\pi/2 θ = π /2 表示正交,
θ = π \theta=\pi θ = π 则表示它们在相反射线上。
这个定义只取决于方向。把任一向量乘以正标量不会改变上述商;若恰好把
其中一个向量乘以负标量,其方向反转,夹角便由 θ \theta θ 变为
π − θ \pi-\theta π − θ 。在两个端点,商分别为 1 1 1 与 − 1 -1 − 1 ,对应正比例与负比
例。Cauchy-Schwarz 中的绝对值有意把两种端点都列作取等情形,三角不
等式却会把它们区分开来。零向量不能归一化,也没有方向;这正是除了分
母为零之外,不在这里为它指定夹角的概念原因。
证明
用二次多项式证明 先考虑 w = 0 w=0 w = 0 。此时 Cauchy-Schwarz 的两边同为 0 0 0 ,等号立即成立;而
包含零向量的一对向量必定线性相关。因此,不等式和上述等号条件在这个
情形都成立。
现在假设 w ≠ 0 w\ne0 w = 0 ,并考虑函数
F ( t ) = ∥ t w − v ∥ 2 . F(t)=\|tw-v\|^2. F ( t ) = ∥ tw − v ∥ 2 . 由于范数平方永远非负,所以对所有实数 t t t 都有 F ( t ) ≥ 0 F(t)\ge0 F ( t ) ≥ 0 。把它展
开得
F ( t ) = t 2 ⟨ w , w ⟩ − 2 t ⟨ v , w ⟩ + ⟨ v , v ⟩ . F(t)=t^2\langle w,w\rangle-2t\langle v,w\rangle+\langle v,v\rangle. F ( t ) = t 2 ⟨ w , w ⟩ − 2 t ⟨ v , w ⟩ + ⟨ v , v ⟩ . 由于首项系数是 ∥ w ∥ 2 > 0 \|w\|^2>0 ∥ w ∥ 2 > 0 ,这是一个真正的二次多项式。它对所有实数
都非负,因此其判别式不能为正:
4 ⟨ v , w ⟩ 2 − 4 ∥ v ∥ 2 ∥ w ∥ 2 ≤ 0. 4\langle v,w\rangle^2-4\|v\|^2\|w\|^2\le0. 4 ⟨ v , w ⟩ 2 − 4∥ v ∥ 2 ∥ w ∥ 2 ≤ 0. 于是
∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥ . |\langle v,w\rangle|\le\|v\|\,\|w\|. ∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥. 在 w ≠ 0 w\ne0 w = 0 的情形,Cauchy-Schwarz 取等当且仅当判别式为零,也就是
F ( t ) F(t) F ( t ) 有实根。这表示存在某个实数 t t t 使 t w − v = 0 tw-v=0 tw − v = 0 ,所以 v v v 是 w w w
的标量倍。反过来,若 v v v 与 w w w 线性相关,因 w ≠ 0 w\ne0 w = 0 ,可写成
v = t w v=tw v = tw ,直接代入便得等号。连同 w = 0 w=0 w = 0 的情形,这就证明了完整的等号
条件,包括其中一个或两个向量都是零向量的所有情形。
二次式的投影意义
同一个计算也说明这个证明为何有自然的几何意义。当 w ≠ 0 w\ne0 w = 0 时,令
t 0 = ⟨ v , w ⟩ ∥ w ∥ 2 , r = v − t 0 w . t_0=\frac{\langle v,w\rangle}{\|w\|^2},
\qquad
r=v-t_0w. t 0 = ∥ w ∥ 2 ⟨ v , w ⟩ , r = v − t 0 w .
于是
⟨ r , w ⟩ = ⟨ v , w ⟩ − t 0 ∥ w ∥ 2 = 0. \langle r,w\rangle
=\langle v,w\rangle-t_0\|w\|^2=0. ⟨ r , w ⟩ = ⟨ v , w ⟩ − t 0 ∥ w ∥ 2 = 0.
所以 t 0 w t_0w t 0 w 是 v v v 沿 w w w 所张成直线的分量,r r r 则是正交余项。把正
交分解 v = t 0 w + r v=t_0w+r v = t 0 w + r 展开,可得
∥ v ∥ 2 = ∥ t 0 w ∥ 2 + ∥ r ∥ 2 = ⟨ v , w ⟩ 2 ∥ w ∥ 2 + ∥ r ∥ 2 . \|v\|^2
=\|t_0w\|^2+\|r\|^2
=\frac{\langle v,w\rangle^2}{\|w\|^2}+\|r\|^2. ∥ v ∥ 2 = ∥ t 0 w ∥ 2 + ∥ r ∥ 2 = ∥ w ∥ 2 ⟨ v , w ⟩ 2 + ∥ r ∥ 2 .
由于 ∥ r ∥ 2 ≥ 0 \|r\|^2\ge0 ∥ r ∥ 2 ≥ 0 ,一个向量沿某条直线的分量不可能比向量本身更
长;整理后正是 Cauchy-Schwarz。等号成立当且仅当 r = 0 r=0 r = 0 ,也就是 v v v
本来就在那条直线上。因此,判别式、正交投影与等号条件其实是同一事实
的三种表述。
也可以把二次式配方,直接看出其精确最小值:
F ( t ) = ∥ w ∥ 2 ( t − ⟨ v , w ⟩ ∥ w ∥ 2 ) 2 + ∥ v ∥ 2 − ⟨ v , w ⟩ 2 ∥ w ∥ 2 . F(t)
=\|w\|^2\left(t-\frac{\langle v,w\rangle}{\|w\|^2}\right)^2
+\|v\|^2-\frac{\langle v,w\rangle^2}{\|w\|^2}. F ( t ) = ∥ w ∥ 2 ( t − ∥ w ∥ 2 ⟨ v , w ⟩ ) 2 + ∥ v ∥ 2 − ∥ w ∥ 2 ⟨ v , w ⟩ 2 .
第一项恰在 t = t 0 t=t_0 t = t 0 时消失,所以最后的常数项就是 F F F 的最小值,必定
非负。这会给出与判别式方法相同的不等式平方形式。更重要的是,它说明
判别式为零并非偶然的代数现象:这表示 v v v 到 w w w 所张成直线的最短距
离为零。此时正交余项消失,两个向量也就线性相关。
非负二次式给出 Cauchy–Schwarz,再由它对交叉项的估计得到三角不等式。
例题
数值检查 Cauchy-Schwarz 令
v = [ 1 2 3 ] , w = [ 4 5 6 ] . v=
\begin{bmatrix}
1\\2\\3
\end{bmatrix},
\qquad
w=
\begin{bmatrix}
4\\5\\6
\end{bmatrix}. v = 1 2 3 , w = 4 5 6 . 则
⟨ v , w ⟩ = 32 , ∥ v ∥ = 14 , ∥ w ∥ = 77 . \langle v,w\rangle=32,
\qquad
\|v\|=\sqrt{14},
\qquad
\|w\|=\sqrt{77}. ⟨ v , w ⟩ = 32 , ∥ v ∥ = 14 , ∥ w ∥ = 77 . 所以
∣ ⟨ v , w ⟩ ∣ = 32 , ∥ v ∥ ∥ w ∥ = 14 ⋅ 77 = 1078 ≈ 32.83. |\langle v,w\rangle|=32,
\qquad
\|v\|\,\|w\|=\sqrt{14\cdot77}=\sqrt{1078}\approx32.83. ∣ ⟨ v , w ⟩ ∣ = 32 , ∥ v ∥ ∥ w ∥ = 14 ⋅ 77 = 1078 ≈ 32.83. 确实有
32 ≤ 32.83. 32\le32.83. 32 ≤ 32.83. 归一化内积为 32 / 1078 ≈ 0.9746 32/\sqrt{1078}\approx0.9746 32/ 1078 ≈ 0.9746 ,所以夹角约为 0.226 0.226 0.226 弧
度。这个数严格小于 1 1 1 ,说明两向量方向相近,却并非线性相关。
三角不等式
定理
三角不等式 对所有向量 u , v ∈ V u,v\in V u , v ∈ V ,
∥ u + v ∥ ≤ ∥ u ∥ + ∥ v ∥ . \|u+v\|\le\|u\|+\|v\|. ∥ u + v ∥ ≤ ∥ u ∥ + ∥ v ∥. 而且等号成立当且仅当 u u u 与 v v v 其中一个是另一个的非负标量倍,包括
其中一个是零向量的情形。
几何意义很直接:三角形的一边,永远不会比另外两边的总和更长。
证明
两个估计的等号必须同时成立 这里要追踪连续的两个等号缺口:
⟨ u , v ⟩ ≤ ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ \langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\| ⟨ u , v ⟩ ≤ ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ 第一个缺口控制内积的符号,第二个控制线性相关性。零向量情形单独处理,
因此不需要在这些情形下归一化。
由
∥ u + v ∥ 2 = ⟨ u + v , u + v ⟩ = ∥ u ∥ 2 + 2 ⟨ u , v ⟩ + ∥ v ∥ 2 \|u+v\|^2
=\langle u+v,u+v\rangle
=\|u\|^2+2\langle u,v\rangle+\|v\|^2 ∥ u + v ∥ 2 = ⟨ u + v , u + v ⟩ = ∥ u ∥ 2 + 2 ⟨ u , v ⟩ + ∥ v ∥ 2 及 Cauchy-Schwarz,
⟨ u , v ⟩ ≤ ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ , \langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|, ⟨ u , v ⟩ ≤ ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ , 可得
∥ u + v ∥ 2 ≤ ∥ u ∥ 2 + 2 ∥ u ∥ ∥ v ∥ + ∥ v ∥ 2 = ( ∥ u ∥ + ∥ v ∥ ) 2 . \|u+v\|^2\le\|u\|^2+2\|u\|\,\|v\|+\|v\|^2=(\|u\|+\|v\|)^2. ∥ u + v ∥ 2 ≤ ∥ u ∥ 2 + 2∥ u ∥ ∥ v ∥ + ∥ v ∥ 2 = ( ∥ u ∥ + ∥ v ∥ ) 2 . 两边取平方根便得到
∥ u + v ∥ ≤ ∥ u ∥ + ∥ v ∥ . \|u+v\|\le\|u\|+\|v\|. ∥ u + v ∥ ≤ ∥ u ∥ + ∥ v ∥. 要在最后取等,上面一连串的两个估计都必须取等。第一个估计要求
⟨ u , v ⟩ = ∣ ⟨ u , v ⟩ ∣ \langle u,v\rangle=|\langle u,v\rangle| ⟨ u , v ⟩ = ∣ ⟨ u , v ⟩ ∣ ,即内积非负;
Cauchy-Schwarz 的界取等则要求 u u u 与 v v v 线性相关。若两个向量都非
零,可写成 v = λ u v=\lambda u v = λ u ,而
⟨ u , v ⟩ = λ ∥ u ∥ 2 ≥ 0 \langle u,v\rangle=\lambda\|u\|^2\ge0 ⟨ u , v ⟩ = λ ∥ u ∥ 2 ≥ 0 迫使 λ ≥ 0 \lambda\ge0 λ ≥ 0 。若其中
一个是零向量,等号立即成立,而零向量也是另一个向量的非负标量倍。反
过来,直接代入可见,符合这个非负标量倍条件的向量必定取等。因此,两
个非零向量方向相反时虽然会令 Cauchy-Schwarz 取等,却不会令三角不等
式取等。
对非零 u , v u,v u , v ,夹角定义把这种几何联系写得更明确:
∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 + 2 ∥ u ∥ ∥ v ∥ cos θ . \|u+v\|^2
=\|u\|^2+\|v\|^2+2\|u\|\,\|v\|\cos\theta. ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 + 2∥ u ∥ ∥ v ∥ cos θ .
Cauchy-Schwarz 正是断言 − 1 ≤ cos θ ≤ 1 -1\le\cos\theta\le1 − 1 ≤ cos θ ≤ 1 ;采用上端点便得到三角
不等式。要在上端点取等,必须有 θ = 0 \theta=0 θ = 0 ,而不是
θ = π \theta=\pi θ = π 。因此,同一直线上方向相反的向量会使 Cauchy-Schwarz 取
等,却不能使三角不等式取等。代数中的符号条件与几何中的同射线条件,
实际上是等价的两种描述。
还可以量化这幅图景。对非零向量作归一化:
u ^ = u / ∥ u ∥ \widehat u=u/\|u\| u = u /∥ u ∥ 、v ^ = v / ∥ v ∥ \widehat v=v/\|v\| v = v /∥ v ∥ 。它们都是单位向量,而且
∥ u ^ − v ^ ∥ 2 = 2 − 2 ⟨ u ^ , v ^ ⟩ = 2 − 2 cos θ = 4 sin 2 ( θ 2 ) . \|\widehat u-\widehat v\|^2
=2-2\langle\widehat u,\widehat v\rangle
=2-2\cos\theta
=4\sin^2\!\left(\frac{\theta}{2}\right). ∥ u − v ∥ 2 = 2 − 2 ⟨ u , v ⟩ = 2 − 2 cos θ = 4 sin 2 ( 2 θ ) .
因为 θ / 2 ∈ [ 0 , π / 2 ] \theta/2\in[0,\pi/2] θ /2 ∈ [ 0 , π /2 ] ,取非负平方根得
∥ u ^ − v ^ ∥ = 2 sin ( θ / 2 ) \|\widehat u-\widehat v\|=2\sin(\theta/2) ∥ u − v ∥ = 2 sin ( θ /2 ) 。所以夹角小时,两个归一
化向量在范数意义下也接近;夹角为 π \pi π 时,两者距离达到最大值 2 2 2 。
类似地,∥ u ^ + v ^ ∥ = 2 cos ( θ / 2 ) \|\widehat u+\widehat v\|=2\cos(\theta/2) ∥ u + v ∥ = 2 cos ( θ /2 ) ,故三角不等式的
上界 2 2 2 只在夹角为零时达到。这些恒等式把等号条件转化为单位球面上的
精确距离。
定理
反向三角不等式 对所有向量 u , v ∈ V u,v\in V u , v ∈ V ,
∥ u − v ∥ ≥ ∣ ∥ u ∥ − ∥ v ∥ ∣ . \|u-v\|\ge\bigl|\|u\|-\|v\|\bigr|. ∥ u − v ∥ ≥ ∥ u ∥ − ∥ v ∥ . 等号成立当且仅当 u u u 与 v v v 其中一个是另一个的非负标量倍,零向量的
情形也包括在内。
把三角不等式分别用于 u = ( u − v ) + v u=(u-v)+v u = ( u − v ) + v 与 v = ( v − u ) + u v=(v-u)+u v = ( v − u ) + u ,可得
∥ u ∥ − ∥ v ∥ ≤ ∥ u − v ∥ \|u\|-\|v\|\le\|u-v\| ∥ u ∥ − ∥ v ∥ ≤ ∥ u − v ∥ 及
∥ v ∥ − ∥ u ∥ ≤ ∥ u − v ∥ \|v\|-\|u\|\le\|u-v\| ∥ v ∥ − ∥ u ∥ ≤ ∥ u − v ∥ ,两式合起来便证明上述下界。例如,若
∥ u ∥ ≥ ∥ v ∥ \|u\|\ge\|v\| ∥ u ∥ ≥ ∥ v ∥ 而且取等,则 u = ( u − v ) + v u=(u-v)+v u = ( u − v ) + v 所用的三角不等式本身也必
须取等。因此 u − v u-v u − v 与 v v v 沿同一非负方向,从而 u u u 与 v v v 也沿同一
非负方向。另一种范数大小次序完全对称。反过来,若两向量符合上述非负
标量倍条件,直接计算便得等号;这也包括其中一个是零向量的情形。
这个版本在你需要下界而不是上界时,往往更容易用。
它也可写成对称形式
∣ ∥ u ∥ − ∥ v ∥ ∣ ≤ ∥ u − v ∥ . \bigl|\|u\|-\|v\|\bigr|\le\|u-v\|. ∥ u ∥ − ∥ v ∥ ≤ ∥ u − v ∥.
因此,对距离 d ( u , v ) = ∥ u − v ∥ d(u,v)=\|u-v\| d ( u , v ) = ∥ u − v ∥ 而言,范数函数是 1-Lipschitz 的:
向量至多改变 ε \varepsilon ε ,其长度也至多改变 ε \varepsilon ε 。特别地,
若 x n x_n x n 在范数下趋近 x x x ,则
∣ ∥ x n ∥ − ∥ x ∥ ∣ ≤ ∥ x n − x ∥ |\|x_n\|-\|x\||\le\|x_n-x\| ∣∥ x n ∥ − ∥ x ∥∣ ≤ ∥ x n − x ∥ 直接说明 ∥ x n ∥ \|x_n\| ∥ x n ∥ 趋近 ∥ x ∥ \|x\| ∥ x ∥ 。
这个分析结论仍是同一条反向三角不等式,并未增加任何坐标假设。
重复使用三角不等式,还可得到有限和形式
∥ ∑ k = 1 n x k ∥ ≤ ∑ k = 1 n ∥ x k ∥ . \left\|\sum_{k=1}^{n}x_k\right\|
\le\sum_{k=1}^{n}\|x_k\|. k = 1 ∑ n x k ≤ k = 1 ∑ n ∥ x k ∥.
证明只需归纳:分离最后一个加项,对它与前面的部分和使用二向量三角不
等式,再对前面的部分和使用归纳假设。结合范数的齐次性,又有
∥ ∑ k = 1 n a k x k ∥ ≤ ∑ k = 1 n ∣ a k ∣ ∥ x k ∥ . \left\|\sum_{k=1}^{n}a_kx_k\right\|
\le\sum_{k=1}^{n}|a_k|\,\|x_k\|. k = 1 ∑ n a k x k ≤ k = 1 ∑ n ∣ a k ∣ ∥ x k ∥.
这是在不展开坐标的情况下,控制多个向量贡献之累计大小的标准方法。
有限和的等号条件也有一个很有用的多向量形式。设 p p p 是正整数,且有向量
x 1 , … , x p x_1,\ldots,x_p x 1 , … , x p 。展开两个平方可得
( ∑ i = 1 p ∥ x i ∥ ) 2 − ∥ ∑ i = 1 p x i ∥ 2 = 2 ∑ 1 ≤ i < j ≤ p ( ∥ x i ∥ ∥ x j ∥ − ⟨ x i , x j ⟩ ) ≥ 0 \left(\sum_{i=1}^{p}\|x_i\|\right)^2-
\left\|\sum_{i=1}^{p}x_i\right\|^2
=2\sum_{1\le i<j\le p}
\left(\|x_i\|\,\|x_j\|-\langle x_i,x_j\rangle\right)\ge0 ( i = 1 ∑ p ∥ x i ∥ ) 2 − i = 1 ∑ p x i 2 = 2 1 ≤ i < j ≤ p ∑ ( ∥ x i ∥ ∥ x j ∥ − ⟨ x i , x j ⟩ ) ≥ 0
由 Cauchy-Schwarz 以及 ⟨ x i , x j ⟩ ≤ ∣ ⟨ x i , x j ⟩ ∣ \langle x_i,x_j\rangle\le|\langle x_i,x_j\rangle| ⟨ x i , x j ⟩ ≤ ∣ ⟨ x i , x j ⟩ ∣ ,
每个两两缺口都非负。因此取等当且仅当每个两两缺口都为零。p = 1 p=1 p = 1 时
结论立即成立;若所有向量都是零,也立即成立。否则选取一个非零向量
w = x k w=x_k w = x k ;对 w w w 取等,再结合二向量三角不等式的等号条件,可知每个非零
x i x_i x i 都是 w w w 的正标量倍,零向量可以存在。反过来,位于同一条正向射线
上的向量会使范数和可加。因此,取等要求所有非零向量位于同一条正向射线,
而不只是同一条直线。
同样可以得到折线路径不等式。对点 t 0 , … , t p t_0,\ldots,t_p t 0 , … , t p ,令
x i = t i − t i − 1 x_i=t_i-t_{i-1} x i = t i − t i − 1 。由于
∑ i = 1 p x i = t p − t 0 \sum_{i=1}^{p}x_i=t_p-t_0 i = 1 ∑ p x i = t p − t 0
有限和不等式给出
∥ t p − t 0 ∥ ≤ ∑ i = 1 p ∥ t i − t i − 1 ∥ \|t_p-t_0\|\le\sum_{i=1}^{p}\|t_i-t_{i-1}\| ∥ t p − t 0 ∥ ≤ i = 1 ∑ p ∥ t i − t i − 1 ∥
当且仅当所有非零步向量都位于同一条正向射线时取等;零步向量可以存在,全为
零的路径也符合条件。几何上,这表示路径沿一个方向直线前进,没有来回折返。
若 t p = t 0 t_p=t_0 t p = t 0 ,取等便进一步迫使每一步都为零。
Cauchy-Schwarz 则给出内积的相应稳定性估计。固定 z z z 后,
∣ ⟨ x , z ⟩ − ⟨ y , z ⟩ ∣ = ∣ ⟨ x − y , z ⟩ ∣ ≤ ∥ x − y ∥ ∥ z ∥ . |\langle x,z\rangle-\langle y,z\rangle|
=|\langle x-y,z\rangle|
\le\|x-y\|\,\|z\|. ∣ ⟨ x , z ⟩ − ⟨ y , z ⟩ ∣ = ∣ ⟨ x − y , z ⟩ ∣ ≤ ∥ x − y ∥ ∥ z ∥.
若两个位置都改变,可加上再减去 ⟨ x ′ , y ⟩ \langle x',y\rangle ⟨ x ′ , y ⟩ ,并使用两次
Cauchy-Schwarz,得到
∣ ⟨ x , y ⟩ − ⟨ x ′ , y ′ ⟩ ∣ ≤ ∥ x − x ′ ∥ ∥ y ∥ + ∥ x ′ ∥ ∥ y − y ′ ∥ . |\langle x,y\rangle-\langle x',y'\rangle|
\le\|x-x'\|\,\|y\|+\|x'\|\,\|y-y'\|. ∣ ⟨ x , y ⟩ − ⟨ x ′ , y ′ ⟩ ∣ ≤ ∥ x − x ′ ∥ ∥ y ∥ + ∥ x ′ ∥ ∥ y − y ′ ∥.
这些界在不依赖坐标的情况下说明:范数与内积在小扰动下都保持稳定。
等号条件很重要
等号条件不是补充说明,而是告诉你估计何时会变得恰好。
对两个非零向量,Cauchy-Schwarz 取等表示它们同向或反向。更一般地,
取等表示两个向量线性相关,这也包括任何含有零向量的向量对;
对两个非零向量,三角不等式取等表示它们沿同一方向,而且比例非负。
含有零向量的向量对也会取等。
例题
三角不等式取等的情形 令
u = [ 2 0 ] , v = [ 3 0 ] . u=
\begin{bmatrix}
2\\0
\end{bmatrix},
\qquad
v=
\begin{bmatrix}
3\\0
\end{bmatrix}. u = [ 2 0 ] , v = [ 3 0 ] . 则 v = 3 2 u v=\frac32u v = 2 3 u ,所以 v v v 是 u u u 的非负标量倍。于是
∥ u + v ∥ = ∥ [ 5 0 ] ∥ = 5 = 2 + 3 = ∥ u ∥ + ∥ v ∥ . \|u+v\|=\left\|
\begin{bmatrix}
5\\0
\end{bmatrix}
\right\|=5
=2+3
=\|u\|+\|v\|. ∥ u + v ∥ = [ 5 0 ] = 5 = 2 + 3 = ∥ u ∥ + ∥ v ∥. 所以等号成立。
例题
Cauchy-Schwarz 取等不能决定三角不等式中的符号 令
u = ( 2 , 0 ) , v = ( − 3 , 0 ) . u=(2,0),
\qquad
v=(-3,0). u = ( 2 , 0 ) , v = ( − 3 , 0 ) . 因为 v = − 3 2 u v=-\frac32u v = − 2 3 u ,两向量线性相关。因此 Cauchy-Schwarz 取等,直接
计算也可验证:
∣ ⟨ u , v ⟩ ∣ = ∣ − 6 ∣ = 6 = ∥ u ∥ ∥ v ∥ = 2 ⋅ 3. |\langle u,v\rangle|=|-6|=6
=\|u\|\,\|v\|=2\cdot3. ∣ ⟨ u , v ⟩ ∣ = ∣ − 6∣ = 6 = ∥ u ∥ ∥ v ∥ = 2 ⋅ 3. 但对三角不等式,
∥ u + v ∥ = ∥ ( − 1 , 0 ) ∥ = 1 < 5 = ∥ u ∥ + ∥ v ∥ . \|u+v\|=\|(-1,0)\|=1
<5=\|u\|+\|v\|. ∥ u + v ∥ = ∥ ( − 1 , 0 ) ∥ = 1 < 5 = ∥ u ∥ + ∥ v ∥. 这里严格不等,是因为比例 − 3 / 2 -3/2 − 3/2 为负。这个例子保护了符号条件:线性
相关足以令 Cauchy-Schwarz 取等,但三角不等式取等要求的是非负 标
量倍。
常见错误
常见错误
Cauchy-Schwarz 取等不等于正交 正交表示 ⟨ v , w ⟩ = 0 \langle v,w\rangle=0 ⟨ v , w ⟩ = 0 。Cauchy-Schwarz 取等表示
∣ ⟨ v , w ⟩ ∣ = ∥ v ∥ ∥ w ∥ . |\langle v,w\rangle|=\|v\|\,\|w\|. ∣ ⟨ v , w ⟩ ∣ = ∥ v ∥ ∥ w ∥. 若 v v v 与 w w w 都非零,取等表示两个向量线性相关,因此不可能同时正交。
不过,若其中一个向量是零向量,两者会同时正交和线性相关,
Cauchy-Schwarz 在这个退化情形仍然取等。
常见错误
不要丢掉符号条件或非零假设 绝对值等式 ∣ ⟨ u , v ⟩ ∣ = ∥ u ∥ ∥ v ∥ |\langle u,v\rangle|=\|u\|\,\|v\| ∣ ⟨ u , v ⟩ ∣ = ∥ u ∥ ∥ v ∥ 同时容许正标量倍与负标
量倍。三角不等式的证明还需要
⟨ u , v ⟩ = ∣ ⟨ u , v ⟩ ∣ \langle u,v\rangle=|\langle u,v\rangle| ⟨ u , v ⟩ = ∣ ⟨ u , v ⟩ ∣ ;若漏掉这一步,就会错误地
把反向向量也列入取等情形。另一方面,夹角公式要除以两个范数,所以只
能在两个向量都非零时使用。某个向量为零时,不等式本身仍然成立,却不
能为了方便而给这个未定义的夹角随意赋值。
快速检查
思考检查
Cauchy-Schwarz 对 ∣ ⟨ v , w ⟩ ∣ |\langle v,w\rangle| ∣ ⟨ v , w ⟩ ∣ 给出什么估计?
解答 · 答案 ∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥ . |\langle v,w\rangle|\le\|v\|\,\|w\|. ∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥.
思考检查
若 u u u 与 v v v 完全同方向,三角不等式可以取等吗?
解答 · 答案
思考检查
若 v ⊥ w v\perp w v ⊥ w ,Cauchy-Schwarz 会化成什么? 代入 ⟨ v , w ⟩ = 0 \langle v,w\rangle=0 ⟨ v , w ⟩ = 0 。
解答 · 答案 它会化成 0 ≤ ∥ v ∥ ∥ w ∥ 0\le\|v\|\,\|w\| 0 ≤ ∥ v ∥ ∥ w ∥ ,自然成立。
练习
思考检查
用 Cauchy-Schwarz 证明 ∣ ⟨ ( 1 , 2 ) , ( 3 , 4 ) ⟩ ∣ ≤ ∥ ( 1 , 2 ) ∥ ∥ ( 3 , 4 ) ∥ |\langle (1,2),(3,4)\rangle| \le \|(1,2)\|\,\|(3,4)\| ∣ ⟨( 1 , 2 ) , ( 3 , 4 )⟩ ∣ ≤ ∥ ( 1 , 2 ) ∥ ∥ ( 3 , 4 ) ∥ 。
解答 · 引导解答 左边是
∣ 1 ⋅ 3 + 2 ⋅ 4 ∣ = 11. |1\cdot3+2\cdot4|=11. ∣1 ⋅ 3 + 2 ⋅ 4∣ = 11. 右边是
1 2 + 2 2 3 2 + 4 2 = 5 ⋅ 5 = 5 5 ≈ 11.18. \sqrt{1^2+2^2}\sqrt{3^2+4^2}
=\sqrt5\cdot5=5\sqrt5\approx11.18. 1 2 + 2 2 3 2 + 4 2 = 5 ⋅ 5 = 5 5 ≈ 11.18. 因此 11 ≤ 5 5 11\le5\sqrt5 11 ≤ 5 5 。
思考检查
对 u = ( 1 , 0 ) u=(1,0) u = ( 1 , 0 ) 与 v = ( 0 , 1 ) v=(0,1) v = ( 0 , 1 ) ,求 ∥ u + v ∥ \|u+v\| ∥ u + v ∥ ,并与 ∥ u ∥ + ∥ v ∥ \|u\|+\|v\| ∥ u ∥ + ∥ v ∥ 比较。
解答 · 引导解答 u + v = ( 1 , 1 ) , ∥ u + v ∥ = 2 . u+v=(1,1),
\qquad
\|u+v\|=\sqrt2. u + v = ( 1 , 1 ) , ∥ u + v ∥ = 2 . 而
∥ u ∥ + ∥ v ∥ = 1 + 1 = 2. \|u\|+\|v\|=1+1=2. ∥ u ∥ + ∥ v ∥ = 1 + 1 = 2. 所以 2 ≤ 2 \sqrt2\le2 2 ≤ 2 ,而且是不等号严格成立,因为两向量不是非负标量倍。
思考检查
若 ∥ u ∥ = 7 \|u\|=7 ∥ u ∥ = 7 、∥ v ∥ = 3 \|v\|=3 ∥ v ∥ = 3 ,利用反向三角不等式求 ∥ u − v ∥ \|u-v\| ∥ u − v ∥ 的下界。
解答 · 引导解答 ∥ u − v ∥ ≥ ∣ ∥ u ∥ − ∥ v ∥ ∣ = ∣ 7 − 3 ∣ = 4. \|u-v\|\ge|\|u\|-\|v\||=|7-3|=4. ∥ u − v ∥ ≥ ∣∥ u ∥ − ∥ v ∥∣ = ∣7 − 3∣ = 4.
同时记住估计与等号条件
Cauchy-Schwarz 是最基本的内积估计:
∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥ |\langle v,w\rangle|\le\|v\|\,\|w\| ∣ ⟨ v , w ⟩ ∣ ≤ ∥ v ∥ ∥ w ∥ 。在实内积空间中,它既限制一个
向量沿另一个向量的分量,也保证两个非零向量的夹角
θ = arccos ( ⟨ v , w ⟩ / ( ∥ v ∥ ∥ w ∥ ) ) \theta=\arccos(\langle v,w\rangle/(\|v\|\,\|w\|)) θ = arccos (⟨ v , w ⟩ / ( ∥ v ∥ ∥ w ∥ )) 落在
[ 0 , π ] [0,\pi] [ 0 , π ] 。其取等条件是线性相关,包括所有零向量情形以及正、负两种比
例。
用它控制 ∥ u + v ∥ 2 \|u+v\|^2 ∥ u + v ∥ 2 中的交叉项,就得到三角不等式。这里的等号条件
更严格:其中一个向量必须是另一个的非负标量倍。再把三角不等式用于向
量之差,便得到反向三角不等式与稳定性估计
∣ ∥ u ∥ − ∥ v ∥ ∣ ≤ ∥ u − v ∥ |\|u\|-\|v\||\le\|u-v\| ∣∥ u ∥ − ∥ v ∥∣ ≤ ∥ u − v ∥ 。整个证明链条依次是内积的正定性、
Cauchy-Schwarz、三角不等式与反向三角不等式;各等号条件所区分的,正
是“一条直线”和“一条射线”。
相关笔记
请先读
9.1 内积、范数与夹角 ,
因为本节所有不等式都直接建基于那里的定义。
而
9.2 正交集与标准正交基
与 9.3 Gram-Schmidt 正交化
中的坐标公式与投影几何由内积的代数性质和正交性建立;本节的不等式进一步给出这些系数和余量长度的界。