反解精度的界
在一點的雅可比(Jacobi)矩陣可逆,配合逆函數定理的正則性假設,可以得到局部逆。若在凸區域上與某個固定可逆矩陣作一致比較,還能得到更強的結論:不同輸入經過映射後,距離仍有確定的下界。同一不等式也能把輸出殘差轉換為重建誤差界。
本課以中值定理與泰勒單元、可微性單元和隱函數與局部求逆單元為基礎。
向量輸出需要不等式,而非共用的中間點
定義 4.5.1
(算子範數界)
對實矩陣 , 表示對所有向量 都有 ;算子範數就是這樣的最小 。
引理 4.5.2
(向量中值不等式)
設 為凸集, 是由 的某個開鄰域 映到 的 映射。若對所有 與 都有 ,則對所有 , 。
證明
(以純量投影證明向量中值不等式)
對 ,連接兩點的線段仍在 內。若 ,所求估計立即成立。否則,令
純量中值定理給出 ,使
最後一步使用柯西–施瓦茨(Cauchy–Schwarz)不等式及 。這裏沒有斷言各輸出分量的中值等式都使用同一個中間點。投影是在端點差確定後選取的。
證明透視
為甚麼最後才選投影方向
這個證明把向量不等式化為純量不等式。 的凸性只用來保證整條線段都留在導數界成立的區域內。不顯而易見的一步,是在知道端點差之後才選取單位向量 ,使 恰好等於範數本身,而不是它的某一個分量。柯西–施瓦茨再把 化為 的界。沒有線段,導數界在中間點上毫無作用;沒有投影,各分量就需要各自不同的中間點 。
因此,雅可比矩陣的一致算子範數界是上述結論的一個方便的充分條件。
僅有上界不能推出單射。常值映射導數為零,卻把所有輸入映到同一點。也不能僅憑導數界比較不同分支中的點:線段條件是關鍵。
反例模式
沒有線段的導數界
取不是凸集的 ,並設 在 上為 ,在 上為 。 在開集 上屬 且 ,所以 時 成立。但對 、,,而 。從 到 的線段離開了 ,導數界對它沒有任何說明;這個不等式需要凸性。
減去一個固定線性映射
定理 4.5.3
(固定矩陣比較)
設 在凸集 附近屬 , 是固定的 矩陣,且對所有 有 ,其中 。若對所有 有 ,則對所有 , 。特別地,若 ,則 在 上是單射。
證明
(對 F 減去線性映射後應用中值不等式)
設 在凸集 附近為 ,並選定一個固定方陣 。假設
對 使用前述不等式。其導數為 ,所以
假設常數 和 滿足
由三角不等式及反三角不等式,得到
當 時,下界常數為正。因此 迫使 ,證明了整個 上的單射性。這是由一致估計得到的定量結論,而非僅從某一點的雅可比矩陣非奇異推出的結論。
實方陣可逆便能給出這樣的 :可以取 。在具體對稱矩陣例子中,把向量分解到相互垂直的特徵方向上,通常可以給出更精確、清楚的計算。
例題 4.5.4
(恆等映射的小正弦耦合)
在 上設 。證明 是單射,並給出其逆的界。
取 ,則 。,對 有 ,所以在凸集 上 。因此對所有 有 。下界常數 為正,所以 是單射,其在 上的逆滿足常數為 的 Lipschitz 條件。
逆映射結論究竟保證甚麼
推論 4.5.5
(Lipschitz 逆與可逆雅可比矩陣)
在固定矩陣比較的假設下,若 ,則 在 上的逆滿足 ,而且對每個 有 ,所以 可逆。
證明
(把下界讀成逆映射的界)
一旦 在 上為單射,逆映射便定義在其像 上。對於任意 ,下界給出
這證明了逆映射在其所述定義域上的 Lipschitz 界,但沒有說明任意給定輸出都屬於該像。單射性與原像存在性是兩個不同問題。
在每個 ,把同樣的比較用於 ,得到
因此方形雅可比矩陣的核只有零向量,矩陣可逆。局部逆函數定理於是給出輸出的一個開鄰域及其中的 逆映射。這一局部結論本身既不能確定整個像,也不能說明任意遠處的目標值均能達到。
常見錯誤
(由每點雅可比矩陣可逆推出單射)
對 ,雅可比行列式 處處非零,但 。逐點可逆只給出局部逆;要得到全局單射,需要凸集上像 這樣的一致估計。
若定義域為閉集,邊界點沒有包含在該定義域內的開輸入鄰域。關於環境空間中映射的鄰域定理,與關於它在閉集上的限制的定理,是不同陳述。
殘差與重建誤差
設未知但確實存在的精確輸入 滿足 。候選重建值 的殘差為 。兩點下界給出
殘差在輸出空間中度量,結論則在輸入空間中度量。必須保留分母:當映射接近於壓縮某個方向時,小輸出誤差也可能對應較大的輸入誤差。
該證書假設精確原像存在於受控區域中。若不存在,就沒有可比較的 ,即使殘差很小也一樣。數值過程給出一個候選值,與關於已有解的誤差證書,回答的是相關但不同的問題。
例題 4.5.6
(非單位矩陣下的殘差證書)
設 ,定義在 上,未知的 滿足 。候選 的殘差為 。求 的界。
取 ,則 ,。 的算子範數至多為 。下界常數為 ,所以 。
常見錯誤
(除以最大伸長量)
上例的證書除以 ,其中用的是 的最小伸長量 ,而不是 。若用 ,會得到過小的 ,這個值並無根據。
充分估計失效時,單射性仍可能成立
若 ,所示下界變為零,不能證明點之間有正的分離量。這並不證明映射非單射。映射仍可能保持單射性,卻以比線性更快的速率壓縮某些很小的輸入差。
相反, 的估計足夠強,能在整個受控區域一致排除這種行為。
例題 4.5.7
(邊界情況 )
設 上的 ,並取 。
此時 ,所以 ,下界常數 為 :比較不能證明任何分離。然而 嚴格遞增,因此是單射。但它的逆並不穩定:對 , 而 ,所以不存在常數 使 對所有小 成立,逆映射 在 處不是 Lipschitz 的。
清單
- 寫明用於比較的凸區域,以及映射在其中為 的開鄰域。
- 使用一個固定矩陣 來控制 ,不能為每一對點另選矩陣。
- 證明矩陣的下界,並在聲稱有正分離常數前核實 。
- 通過純量投影證明向量範數估計;不要假設各分量共用一個中值點。
- 將逆映射的定義域寫成實際的像。另行檢查存在性。
- 使用殘差估計時,精確輸入與候選輸入都必須位於導數界適用的區域內。
即時檢查
快速檢查
(在凸集上 ,其中 。由此得到甚麼下界常數和逆映射的 Lipschitz 常數?)
求 的最小伸長量。
解答 · 答案
,,所以 ,逆映射的 Lipschitz 常數為 。
快速檢查
(用固定矩陣比較,證明 在 上是單射。)
取 。
解答 · 答案
,所以 ,而 。於是 ,故 時必有 。
快速檢查
(候選 的殘差為 ,且 。證書給出甚麼?它要成立必須滿足甚麼條件?)
哪兩個點必須位於受控區域內?
解答 · 答案
。只有在存在滿足 的精確解 ,且 與 都位於 成立的凸區域內時,這個界才適用。