Fourier 投影之所以有效,是因為誤差垂直於每個保留的頻率。這種幾何並不專屬於振盪函數,而存在於每個完備內積空間。認清這個幾何結構後,我們就能解決閉子空間中的最佳逼近問題,用向量表示連續線性測量,並區分一個標準正交族與真正完整的座標系統。
以下始終要留意兩個假設。可行集必須閉,極限中的最小點才仍然可行;環境內積空間必須完備,極小化 Cauchy 序列才確實有極限。形式上算出幾個垂直方向,不能代替這兩個條件。
內積幾何與約定
設 是實或複 Hilbert 空間,即完備的內積空間,範數為 。我們約定內積對第一個變量線性,對第二個變量共軛線性。因此
第二個恆等式是平行四邊形等式,展開兩邊平方即可得到。以下使用 Cauchy–Schwarz 與三角不等式:它們分別可由對 求最小值和展開平方來證明,建立它們不需要投影定理。
定義 2.4.1
(距離、凸性與正交補)
對非空集 ,記 。若集合包含其任意兩點之間的整條線段,就稱它為凸集。對線性子空間 ,定義
這是閉線性子空間,因為每個條件都是關於 的一個連續線性泛函的零點集。原來的子空間不一定閉;凡是需要閉性的地方,我們都會明確說明。
到閉凸集的最佳逼近
定理 2.4.2
(閉凸集上的投影)
若 非空、閉且凸,則每個 都有唯一的最近點 。它由下列條件刻畫:
若 、,則
在實空間中可省略實部符號。
證明
(極小化序列是 Cauchy 序列)
令 ,選 使 。因為中點仍屬於 ,平行四邊形等式給出
右端趨於零。由完備性,該列有極限 ;由閉性,;再由範數連續性,。對兩個最小點使用同一不等式,便得唯一性。
為證明刻畫條件,當 時,點 屬於 。最小性說明
除以 ,再令 ,就得到所述不等式。反過來,若該不等式對每個 都成立,展開平方可得 ,故 是唯一最小點。
為證明穩定性,在關於 的不等式中取 ,在關於 的不等式中取 。把兩個不等式相加並整理,得到 。Cauchy–Schwarz 給出範數估計;當 時無需相除,結論也直接成立。因此,凸集投影是穩定的,但不一定線性。
證明透視
中點把極小化轉化為 Cauchy 性
在無限維空間中,有界的極小化序列未必具有收斂子列。這個證明沒有假設這種緊緻性,而是利用中點仍可行和平行四邊形等式,迫使任意兩個足夠好的候選點彼此接近。完備性再提供共同極限。這正是 Hilbert 幾何能夠在有限維緊緻性論證不再適用時,仍證明最小點存在的原因。
常見錯誤
(投影到凸集上並非線性)
只有投影到閉子空間才是線性的。在 中令 。則 且 ,所以 。變分不等式刻畫的是最近點;只有當 是子空間,對每個 都有 時,線性才會出現。
閉子空間與垂直分解
定理 2.4.3
(正交投影定理)
對閉線性子空間 ,有
所以每個 都有唯一分解 ,其中 、。映射 線性,滿足 和 。若 ,其算子範數為一;否則為零。對任意線性子空間 ,無論它是否閉,都有
證明
(垂直殘差及其推論)
對 使用凸集投影定理。由於每個實數 與 都滿足 ,變分不等式說明 。在複空間中,再對 使用同一結論,虛部也必須為零。因此 。反過來,由畢氏(Pythagoras)等式,任何這樣的分解都是最小化分解。交集 只有零向量,因此分解唯一。
把兩個分解相加,或者乘以純量,仍得到同類分解,所以唯一性證明了線性。屬於 的向量投影後仍是自己,因而得到冪等性。畢氏等式給出
這給出算子範數上界;若 中有非零向量,把它歸一化就取到等號。
最後,內積連續性說明 。顯然 。若 屬於右端,作分解 ,其中 、。於是 ,所以 ,反向包含也成立。特別地,一個生成空間稠密,當且僅當不存在非零向量與它的所有元素垂直。
反例模式
稠密的可行子空間仍可能沒有最近點
令 , 為有限支集序列子空間。對 ,截斷說明 。但 中沒有向量取到這個距離,因為距離為零就必須等於 。該子空間線性且稠密,卻不閉。投影到它的閉包會得到 ,但 並不是原問題的可行點。因此,用閉包代替原集合,可能改變下確界是否能取到。
連續線性測量就是內積
記 為 上的有界線性泛函空間,範數為 。這裏指連續對偶,而不是完整的代數對偶。
定理 2.4.4
(Hilbert 空間中的 Riesz 表示)
對每個 ,存在唯一的 ,使
在本文約定下,複空間中從 到 的對應是共軛線性的;實空間中則是線性的。
證明
(把垂直於核的向量歸一化)
零泛函由零向量表示。若 ,則其核是閉子空間。選取 的 ,並令 。於是 ,且 。取 ,便有 。對每個 ,向量 屬於核,因此
所以 給出所求表示。若有兩個表示向量,用它們之差與自身作內積,立即得到唯一性。由 Cauchy–Schwarz,;當 時取 ,就得到等號。最後, 由 表示,因為內積的第二變量共軛線性。這把純量約定所產生的共軛明確寫出來,而不是藏在記號中。
證明透視
一個垂直方向承載整個泛函
連續性只用了一次:它使 閉合,於是用到完備性的投影定理給出一個垂直於核的非零向量 。關鍵在於核的餘維數為一:每個 都分解成 加上核中的向量,所以單一方向 記錄了 的全部資訊。把這個分解與 作內積,就把數值 變成一個內積。
標準正交族與真正的基
定義 2.4.5
(標準正交族與標準正交基)
若當 時 ,而其餘情形為零,就稱族 標準正交。若其閉生成空間為整個 ,就稱它為標準正交基。這不是 Hamel 基:這裏允許無窮的範數收斂展開,不侷限於有限的代數線性組合。
對任意指標集上的非負數,定義 。空間 就是按此意義平方和有限的純量族。
定理 2.4.6
(正交展開與完備座標)
對標準正交族,令 。則
每個固定向量的非零係數至多可數,級數依範數收斂,且與這些係數的排列次序無關。下列條件等價:該族是基;其垂直空間為零;每個向量都等於所示級數;每個向量都滿足 Parseval 等式。若它是基,則係數映射是從 到 的線性等距雙射。
證明
(先取有限子和,再沿有限集取極限)
對有限集 ,令 。直接使用正交性,得到
所以係數平方和不超過 。對每個正整數 ,模長至少為 的係數只能有有限個,否則有限部分和就可任意大。這些有限集的可數並包含了所有非零係數。把該支集列舉出來。由正交性,兩個部分和之差的範數平方等於相應的係數尾和。因此部分和是 Cauchy 序列,由完備性得到極限 。
構造結果不依賴列舉次序。給定 ,選有限個係數,使其餘係數的總平方和小於 。每個包含這些係數的有限部分和,與 的距離都小於 。當 不可數時,這也定義了所寫指標級數的意義。 的每個係數都等於 的對應係數,所以 垂直於全部 ;再由連續性,它也垂直於 。投影定理因而給出 。沿按包含關係遞增的有限子集 ,有 依範數趨於 ,係數平方和則遞增至其定義中的上確界。在有限能量等式中取這個極限,便得到所示餘項公式。這是沿有限子集取極限,並非要把不可數指標集列舉成序列。
若 ,每個向量的餘項都為零,於是得到展開、Parseval 和垂直空間為零。反過來,若每個 都滿足 Parseval,餘項公式就迫使 ,故 ;若每個向量都等於所述展開,也說明每個向量都屬於 。最後,該族與其閉生成空間具有相同的垂直空間。若這個空間為零,正交分解對任意 都沒有餘項,再次得到 。這證明了全部等價關係。為證明滿射,給定 ,同樣的有限閾值論證說明其支集可數。相應的正交部分和是 Cauchy 序列,極限向量的係數就是 。若該族是基,唯一性來自「與所有基向量都垂直的向量只有零向量」。Parseval 則給出保範數性質。
常見錯誤
(不完備的族只有 Bessel,沒有 Parseval)
標準正交族總給出 Bessel 不等式,但 Parseval 等式要求這個族是基。在 中, 是標準正交族,但 的每個係數都是零,所以 。缺少的量正是定理中的殘差 。
為說明基的存在性,對一般 Hilbert 空間,我們明確使用 Zorn 引理作為標準集合論輸入。把所有標準正交子集按包含關係排序;這個集合非空,因為它包含空族,也因此涵蓋 的情形。鏈的並仍然標準正交,所以存在極大族。若其閉生成空間不是全空間,投影便給出非零垂直餘項,將它歸一化後可加入原族,矛盾。反過來,完備的正交族無法再加入一個新的正交單位向量。
在可分空間中還可以直接構造。選一個可數稠密序列,逐一處理:減去它在已經保留的有限個向量的生成空間上的投影,若餘項非零,就把歸一化餘項加入。每個已處理的向量都屬於該階段得到的生成空間,因而最終的有限或可數標準正交族具有稠密生成空間。反過來,若有可數標準正交基,取有限個有理係數組合,複情形取實部、虛部均為有理數的係數,就得到可數稠密集。而且可分空間中的每個標準正交族都可數:不同成員相距 ,以它們為中心、半徑 的互不相交開球,必須包含可數稠密集中的不同點。
概念視角結構
Fourier 定理仍然必須證明甚麼?
抽象定理不能證明某個具體的標準正交族的生成空間稠密。應用到 Fourier 分析時,取 ,其中 是歸一化 Lebesgue 測度,。這裏使用兩個標準測度論前提: 是完備的,圓周上的連續函數在 中稠密。它們需要另行證明,不能從上述抽象定理推出。
在這些前提下,可如下理解指數函數的有限線性組合為甚麼稠密。令 連續,使用有限 Fejér 核
該核非負且積分為一;它與 的卷積是三角多項式。若 ,當 到零的圓周距離至少為 時,。把卷積積分分成近處與遠處:一致連續性控制近處誤差,而上述界使遠處的核質量趨於零,因此卷積一致收斂到 。於是連續函數可由三角多項式依範數逼近,再由連續函數的稠密性推廣到整個 。此時抽象定理給出完整指數族的 Parseval 等式和範數重建;這裏沒有斷言普通 Fourier 部分和逐點收斂。
例題
例題 2.4.7
(投影到連續線性約束)
設 屬於 , 為純量,約束為 。這個仿射超平面非空,因為 屬於它;由泛函連續性可知它閉,由線性可知它凸。它離 最近的點為
確實, 滿足約束,而 是 的倍數,垂直於方向空間 。再用畢氏等式就得到最小性。這個公式對複純量也成立,因為內積對第一變量線性。它說明連續測量如何同時決定修正方向與修正大小。
例題 2.4.8
(二次函數的最佳一次逼近)
在 中,向量 與 正交,範數平方分別為一與 。對 ,其在這兩個向量生成空間上的投影為常數 :餘項的積分為零,並垂直於奇函數 。因此
唯一的極小化係數為 、。向量 尚未歸一化;一般的係數公式必須除以它的範數平方,或者先把向量歸一化。「正交」與「標準正交」是不同條件。
例題 2.4.9
(基不可數,每個向量的支集卻可數)
對不可數集 ,空間 連同座標內積構成 Hilbert 空間。為檢驗完備性,設 是 Cauchy 序列,且範數不超過 。每個座標都有極限 。對有限集 取極限,得到 ,所以 。若充分大的 都滿足 ,先在每個有限部分和中令座標趨於極限,再取上確界,便有 。
座標單位向量構成標準正交基:每個向量都有可數支集,其有限截斷尾部依範數趨於零。該空間不可分,因為不可數個座標單位向量兩兩相距 。這並不矛盾:每個向量只使用可數個座標,但不存在一套固定的可數座標,足以表示所有向量。
練習
快速檢查
(對閉球 ,其中 ,證明當 時 ,否則 。若 ,證明這個投影不線性。)
解答 · 答案
球內點的距離為零。對球外點,反向三角不等式說明每個可行 都滿足 ,而 取到該界。唯一性來自凸投影定理,也可由已經證明的等號刻畫得到。若 是單位向量,則 ,而 ,因此映射不線性。對一般凸約束,穩定性與唯一性並不意味著線性。
快速檢查
(在 中,把 投影到 與 的生成空間。說明為甚麼直接求和 會得到錯誤答案。)
解答 · 答案
寫成 。 垂直於 與 ,給出 和 。所以 ,,誤差平方為 。題目中直接相加得到的是 ,並非投影。常用係數公式適用於標準正交族,而這裏兩向量內積非零,範數平方也都是二。
快速檢查
(是否存在 上的有界線性泛函,在每個有限支集向量上都等於 ?分別用範數估計與 Riesz 表示證明你的結論。)
解答 · 答案
令 的前 項都為 ,其餘為零。其範數為一,但座標和為 ,這與任何固定的有界泛函範數都矛盾。另一個證明是:若表示向量為 ,就必須對每個 有 。於是 ,它並不平方可和。有限公式不能自動連續延拓到完備化。
快速檢查
(在複空間 上,令 。求其表示向量與範數。在本文約定下,哪個向量表示 ?)
解答 · 答案
序列 Cauchy–Schwarz 保證該級數定義有界泛函。表示向量為 ,因為 。利用 ,得到 。泛函 由 表示,而不是 。這個符號由第二變量的共軛線性決定。
快速檢查
(令 配備 範數,在其完備化中取 ,並令 。證明 在 中閉,但 在 中沒有最近點。計算距離,並說明投影定理的哪個假設失效。)
解答
由 Cauchy–Schwarz,泛函 在 上有界,因此其核 在那裏相對閉。在完備空間 中,有 、,所以到閉超平面 的投影為
這個 並非有限支集:對每個 ,其第 個座標為 。但它仍可用 中的點逼近:把它截斷為 ,再令 。於是 ;由 和 ,可得 。因此,在 上的距離下確界是 。若 中某個向量取到等號,它也必須是完備空間中該超平面上的唯一最小點,即等於 ,不可能。集合在其環境空間中是閉的,但環境空間本身不完備。
精確範圍
本節證明了 Hilbert 空間中的最佳逼近、有界泛函表示與標準正交座標理論,並包括任意指標集。我們沒有從任意預內積空間構造 Hilbert 完備化,也沒有證明譜定理、發展弱緊緻性、處理無界算子,或代替驗證某個具體候選基所需的獨立稠密性論證。一般的基存在性證明明確使用 Zorn 引理;可分情形的直接構造不需要它。這些是已證明結果的準確邊界,而不是用「基」這個詞掩蓋的缺口。