以座標作為逼近
在歐氏(Euclid)空間中,一組標準正交基以有限個互相獨立的座標表示一個向量。在 Hilbert 空間中,座標的個數可以是無限的。這些座標的有限部分和仍具有精確的幾何意義:每一個部分和都是來自某個有限維子空間的最佳逼近。額外的問題是,當子空間不斷擴大時,逼近誤差是否趨於零。單憑標準正交系並不能保證這一點;一個向量可以與系中每一個成員都垂直,卻仍然不是零向量。
在全文中, 是實或複 Hilbert 空間,而 對第一個變元線性。我們只考慮有限或可數無限的系;下列結果並不假設每個 Hilbert 空間都有可數的標準正交基。
定義 4.1.1
(標準正交序列、係數與部分和)
若對 有 ,對 有 ,則 中的序列 稱為標準正交。對 ,其係數為 ,第 個部分和為
定義 4.1.2
(完備的標準正交系)
閉線性生成空間 由 的有限線性組合在 Hilbert 範數下的極限組成。若 ,則稱該系在 中完備。
常見錯誤
(完備系不等於完備空間)
的完備性是賦範空間的性質:Cauchy 序列必收斂。系的完備性是所選向量的性質:它們的閉生成空間是整個 。Hilbert 空間中的每個標準正交序列都處於完備空間之中,但 中的序列 在那裏並不是完備系。兩個「完備」在下面的證明中擔當不同角色。
有限維最佳逼近
命題 4.1.3
(部分和是最佳逼近)
對每個 及 , 是 中與 最接近的唯一點。此外,
證明
(正交殘差與畢氏定理)
對 ,由標準正交性得 ,故殘差與 垂直。若 ,因 , 是正交分解。由畢氏定理(Pythagoras)得
右邊恰在 時最小,這證明了唯一的最小點。取 ,並由標準正交性展開 ,即得所述恆等式。
此處沒有用到任何無窮級數定理。特別地,對任何給定的係數 ,平方誤差等於平方投影誤差加上 。內積的約定至關重要:若採用對第二個變元線性的另一種約定,係數須寫成 。
例題 4.1.4
( 在 中的最小二乘逼近)
在 上取通常的實 內積,設 、。由 ,兩者範數均為一;又 ,故兩者內積為零。對 ,
因此 範數下的最佳仿射逼近為 ,其平方誤差為
這所最小化的是積分平方誤差,而不是最大逐點誤差。 的元素是模幾乎處處相等的等價類;所顯示的連續代表元只是使計算更具體。
Bessel 不等式與部分和的收斂
定理 4.1.5
(Bessel 不等式)
對任何 及任何標準正交序列 ,
證明
(非負級數的部分和有界)
由於 ,有限恆等式表明這些非負項的每個部分和至多為 。有界遞增的實部分和序列必收斂,其極限仍至多為 。
Bessel 不等式同時控制向量和;空間的完備性正是在這裏進場。
定理 4.1.6
(正交展開收斂至投影)
對每個 ,級數 在 的範數下收斂,其和是 在 上的正交投影:
證明
(Cauchy 部分和與正交殘差)
若 ,由標準正交性得
由 Bessel 不等式,純量級數收斂,所以當 時右邊對所有 一致地趨於零。因此 是 Cauchy 序列。 的完備性給出極限 。每個 都屬於 ,而 是閉的,故 。對任何固定的 ,當 時殘差 與 垂直;由內積的連續性得 。由線性, 垂直於 的每個有限線性組合;再由連續性,它垂直於這些組合的極限,所以 。投影定理把 刻劃為 中殘差垂直於 的唯一向量,故 。
證明透視
三個各自獨立的要素
論證在三個不同時刻用到三個事實。Bessel 不等式把純量的結論轉成向量的結論:尾部恆等式在不預知任何極限的情況下說明部分和是 Cauchy 序列。 的完備性只用了一次,用來產生極限 ;在不完備的內積空間中,這個 Cauchy 序列可能無處收斂。 的閉性與內積的連續性再把兩個性質傳到極限:屬於 ,以及殘差垂直於每個 。辨認 不需再計算,因為 中殘差垂直於 的向量是唯一的。證明中沒有任何一步說 ;這正是系的完備性額外提供的資訊。
此等式斷言的是範數收斂;當向量為函數時,它並不斷言逐點收斂。若 是真子空間,則級數收斂至投影,而不一定收斂至 。
定理 4.1.7
(Riesz–Fischer 構造)
對每個滿足 的純量序列 ,級數 在 中收斂至某向量 ,且對每個 有 ,又 。 中具有這些係數的元素只有這一個。
證明
(以給定係數重用同一尾部估計)
部分和 對 滿足 ,故為 Cauchy 序列,在 中收斂至某 ,且 屬於閉子空間 。當 時 ,由內積的連續性得 ;由範數的連續性得 。若 有相同係數,則 垂直於每個 ,從而垂直於 ,故 。
唯一性只在 之內成立: 之外的向量也可具有相同的係數,因為加上 的任何元素並不改變係數。
Parseval 與系的完備性
定理 4.1.8
(完備標準正交序列的等價刻劃)
對於 中的標準正交序列,下列各條等價:
- 其閉線性生成空間為 。
- 唯一與每個 都垂直的向量是零向量。
- 對每個 ,在範數下 。
- 對每個 ,Parseval 恆等式成立:
證明
(一圈蘊含關係)
上一定理給出 。因此 (1) 蘊含 (3),因為此時 。其次,在有限恆等式 中令 ,得 (3) 蘊含 (4)。若 (4) 成立且 與每個 垂直,則 ,證得 (2)。最後,若 (2) 成立,向量 與 垂直,因而與每個 垂直;所以對每個 它都是零,故 ,即 (1) 成立。
對個別的 ,Bessel 不等式中等號成立當且僅當 :在有限恆等式中令 ,並用 ,可知兩邊之差為 。因此,不完備的系可能對某些向量滿足 Parseval 恆等式,但並非對 中所有向量皆然。
反例模式
缺少一個方向的標準正交序列
要檢驗的說法是: 中無限的標準正交序列自動滿足 Parseval 恆等式。在 中取標準單位向量 ,並省略 。它們的閉生成空間是第一個座標為零的序列組成的子空間。對 ,每個係數 ()都是零,所以每個部分和都是零,級數收斂至 。Parseval 左邊為 ,右邊為 ,Bessel 不等式嚴格成立。修正正是定理的條件 (2):Parseval 對每個向量成立,當且僅當沒有非零向量垂直於整個系。被省略的系在其自身的閉生成空間中是完備的,這說明為何必須指明所處的空間。
當系完備時,係數就成為 的一套忠實的座標描述。
概念視角結構
完備標準正交序列作為么正座標映射
設 是 中的完備標準正交序列,定義 為 。Bessel 不等式說 ,而 是線性的。Parseval 恆等式說 ,所以 是等距映射,再由極化恆等式得 。Riesz–Fischer 構造說每個平方可和序列都是某個 的 ,所以 是滿射。因此 是 到 的么正同構,把 送到第 個標準單位向量;用係數計算就是在 中計算。
例題 4.1.9
( 中的標準系是完備的)
對 中完整的標準系 及 ,有 ,所以 把序列在第 個座標之後截斷。於是
這是收斂級數的尾部,由 的定義趨於零。定理的條件 (3) 成立,故該系是完備的,且 。這是直接驗證完備性,而非僅由標準正交性推斷。
例題 4.1.10
(單一函數的 Bessel 等式:正弦系與常數 )
在實 中,函數 ()是標準正交的:,而 時 的積分為零。對 ,
當 為奇數時等於 , 為偶數時為 。利用 ,
Bessel 不等式取等號,表明 ,所以 屬於正弦系的閉生成空間 ,其正弦級數在 中收斂至 。這是關於單一向量的結論;這個計算本身並不證明正弦系完備。
常見錯誤
(範數收斂不是逐點收斂)
在上例中, 在 中收斂至 。由於 ,每個部分和在 處都等於零,所以級數在該點收斂至 而非 。這並無矛盾: 中的等式是等價類之間的等式,對單一點的取值沒有任何斷言。
附解答的練習
快速檢查
(在具通常內積的 中,設 、。求 在其生成空間中的最佳逼近,以及它到該生成空間的距離。)
先計算兩個係數。
解答 · 答案
係數為 ,所以 。該生成空間是第三個座標為零的平面。殘差為 ,故距離為 ;驗算:。
快速檢查
(設 為 中的標準正交序列,並設 (範數收斂)。求 及 。)
先找出 的係數。
解答 · 答案
由 Riesz–Fischer 構造,,且 。殘差為 ,所以 。
快速檢查
(在 中只使用 。刻劃使 Bessel 不等式取等號的向量。)
計算 減去各係數平方之和。
解答 · 答案
的係數是 ,所以兩邊之差為 。等號恰對第一個座標為零的序列成立,亦即對閉生成空間中的向量成立。
快速檢查
(為何當系完備時,對每個 都有 蘊含 ?並在系不完備時給出反例。)
利用生成空間的稠密性與內積的連續性。
解答 · 答案
若 垂直於每個 ,由線性它垂直於這些向量的生成空間,再由連續性垂直於其閉包;當系完備時閉包就是 。特別地 ,故 。對 中的系 ,向量 垂直於每個所列向量。