引言
最小二乘可以純粹從幾何角度理解:我們把數據向量投影到設計矩陣的列空間。正態樣本的置信區間則可以從概率角度理解:標準化的平均值除以一個獨立的樣本標準差,便服從 分布。本節把兩者連起來。在固定設計及獨立高斯(Gauss)誤差的假設下,投影幾何給出三個事實:
- 係數估計量精確地服從正態分布;
- 殘差平方和精確地服從經縮放的卡方分布;
- 兩者互相獨立。
由此可為非零線性對比及未來觀測值求出精確的 區間。
以下每個觀測樣本的隨機量都是誤差向量的函數;後文的未來觀測值還用到另一個獨立誤差。設計是一張固定的數值表;所有概率陳述均指在這張表保持不變時,誤差重複抽樣的結果。
模型及基本假設
固定正整數 ,以及確定性矩陣 ,其中 。參數 和 固定但未知。我們觀測到
協方差矩陣 是對角矩陣,而 是聯合高斯向量,因此各分量 互相獨立,並各自服從 。
滿列秩保證 矩陣 可逆。若 ,則 ,所以 ,進而 。同一計算也說明 正定,故其逆矩陣亦正定。
定義 1.7.1
(最小二乘估計量、帽子矩陣與殘差方差)
定義
條件 保證 ,因此 有定義。
一階矩及二階矩
定理 1.7.2
(最小二乘估計量的無偏性與協方差)
若 且 ,則 ,並且 。
證明
(把模型代入估計量)
代入 :
是確定性的,所以 。至於協方差,
其中用到了 的對稱性。證明只用到 的均值和協方差,並不需要正態性。
引理 1.7.3
(帽子矩陣的性質)
對稱且冪等,並有 。它滿足 ,而殘差向量滿足 。
證明
(五個矩陣恆等式)
對稱性。 。
冪等性。 。
固定各列。 。
秩。 由 得 ,而 給出反向包含關係。因此 ,其維數為 。
殘差。 。
恆等式 是關鍵:殘差完全不依賴未知的 ,而是雜訊中不能被列空間吸收的部分。
旋轉雜訊
取 的一組標準正交基 ,以及其正交補的一組標準正交基 ,分別把它們排成 和 的列。則 是 正交矩陣,所以
和 的列都是 的基,所以對某個可逆的 有 。將其代入 得
引理 1.7.4
(球形高斯分布的旋轉不變性)
若 且 正交,則 。特別地, 和 互相獨立。
證明
(利用密度)
的密度為 ,它對 的依賴只透過 。映射 保持長度,其雅可比(Jacobi)行列式的絕對值為 。因此 有完全相同的密度。此密度可分解為各座標的 密度之乘積,所以 的座標互相獨立。 和 使用互不重疊的座標,故兩個向量獨立。
三個分布事實
定理 1.7.5
(估計量與殘差平方和的聯合分布)
在高斯模型下:
- 。
- ,因此 。
- 與 互相獨立。
- 以概率一成立。
證明
(把旋轉後的雜訊分成兩塊)
估計量只依賴 。 由於 及 ,
這是高斯向量的線性變換,所以仍為高斯向量。其均值和協方差由前面的定理給出。
殘差平方和只依賴 。 因為 ,
各 是 個獨立標準正態變量,所以 。 變量的均值為 ,故 。
獨立性。 是 的函數, 是 的函數;獨立向量的函數也獨立。
正性。 ,而 在 上有連續分布,故 。
證明透視
為甚麼一次旋轉便得到三個事實
真正起作用的一步是寫成 。這把估計量變成 ,把殘差變成 ,於是每個量只讀取旋轉後雜訊的其中一塊。滿列秩在此用上,使 可逆。
高斯性只透過旋轉不變性引理進入:它使 從而 服從正態分布,把不相關的兩塊變成獨立的兩塊,並給出 的卡方分布。若誤差只是不相關且方差相同, 與 仍然不相關, 亦仍成立(見下文),但獨立性和 分布都不再成立。條件 使 這一塊非空; 時的卡方分布及 的正性都依賴它。
的均值不需要正態性。若只假設 和 ,則
其中用到 和 。然而,沒有正態性時,卡方分布、獨立性和以下精確樞紐量都不一定成立。
線性對比的精確區間
固定非零 ,令 。由於 正定,必有 。目標 是固定的純量。
記 為下尾分位數:若 ,則 。 表示 的相應分位數。
定理 1.7.6
(對比的樞紐量與區間)
對 ,隨機區間
包含 的概率恰為 。若 已知,區間 的覆蓋率亦恰為 。
證明
(先標準化,再學生化)
純量 是 的線性變換,因此
只依賴 ,而 只依賴 ,所以 與 獨立。根據 分布的定義,;未知的 抵消。由於 幾乎必然成立, 有良好定義。
分布連續且對稱,所以
整理事件 ,所得恰是區間包含 的事件。已知方差的情況用 代替 作同樣論證即可。
常見錯誤
(把覆蓋率讀成某個已算出區間的概率)
區間是隨機的,目標則固定。「覆蓋率 」表示:若保持 、 和 不變,反覆獨立抽取新的誤差,計算所得區間中包含 的比例長遠會趨近 。單個已算出的區間要麼包含目標,要麼不包含。覆蓋率的陳述也以模型正確為前提,它不保證直線或高斯雜訊確實適合描述數據。
平均響應與新觀測值
取固定向量 ,令 。
當 ,平均響應 是取 的非零線性對比,其區間為
當 ,平均響應和上述區間均為 ,所以覆蓋率是 ,而非 。下面的預測結果對零行仍然成立。現在令 ,其中 且獨立於 。
定理 1.7.7
(預測樞紐量)
因此 。
證明
(三個獨立部分)
分子服從正態分布。 它可分解為
三個向量或變量 、、 互相獨立: 獨立於 ,而 是 的可逆函數,且兩個部分獨立。因此它們的聯合密度是各密度之積。分子是獨立高斯變量的線性組合,故服從正態分布,均值為 ,方差為 。
分子與 獨立。 分子只依賴 ,而它與 獨立。
結論。 分子除以 得到標準正態變量,且它獨立於 。跟對比定理一樣,兩者之比恰服從 分布。
在相同分位數下比較兩個區間。由於 ,有 ,而 幾乎必然成立。因此預測區間半寬 嚴格大於平均響應區間半寬 。
常見錯誤
(用平均響應區間預測新觀測值)
平均響應區間的目標是固定數 。它包含 的概率嚴格小於 ,因為分子 的方差是 ,而不是 。根號內多出的 代表新觀測值本身的雜訊;增加數據無法消除它。相比之下,隨設計規模增長, 通常會縮小。
兩種區間都不能使外推變得安全。代數上公式對任何 都成立,而 是正定二次型,沿特徵空間中任何無界射線都會增大。在下面的截距與斜率例子中,它隨 增大,但一般而言未必隨與觀測行的歐氏(Euclidean)距離單調增大。推導假設線性模型在 處也成立;僅憑觀測設計,不能確立這假設在遠處的點仍然成立。
完整的三點例子
例題 1.7.8
(用三個點擬合直線)
取 、,設計矩陣的行為 、、,觀測值為 。第一列是截距,第二列是預測變量 。所有響應都與 使用相同單位。
正規方程。
擬合值與殘差。 擬合值 為 。殘差為 。殘差之和為零,並與 正交:。
方差估計。 ,,。
斜率。 取 ,則 ,標準誤為 。取 ,
故 95% 區間是 。區間很寬,因為自由度只有一時, 分布的尾部很厚,分位數很大。
在 的平均響應。 點估計為 。二次型 ,標準誤為 。半寬為 ,得到區間 。
在 的新觀測值。 標準誤為 。半寬約為 ,得到區間 。
注意 大於 。相比之下,樣本內槓桿值 分別為 ;每個都不大於 ,且總和為 。點 位於觀測範圍 之外,正是上文提醒的外推情況。
例題 1.7.9
(沿擬合直線的槓桿值與區間寬度)
在三點例子中取 。則 ,它隨 的平方增長,並在設計中心 處最小。
當 ,,點估計為 。
- 平均響應。 標準誤為 。半寬為 ,區間為 。
- 新觀測值。 標準誤為 。半寬約為 ,區間為 。
預測區間寬度與平均響應區間寬度之比為 。當 時比值為 ,但在 時只有 。遠離數據時,直線本身的不確定性比新觀測值的雜訊更佔主導。
例題 1.7.10
(三點設計的殘差幾何)
由於 ,
因此 ;例如 。 的正交補由 生成,所以 ,而 。這裏 ,所以 是一個標準正態變量的平方,即服從 :這正是一般定理在 時的直接驗證。
以數據核對:,故 ,,與上面的擬合相符。
反例與邊界情況
反例模式
殘差分量並不獨立
取 、、。則
殘差滿足 ,而 因 而有正方差。因此 ,但 ,故兩個分量不獨立。
一般來說, 的非對角元素可以非零。誤差的獨立性不會自動傳給殘差。
另有兩種邊界情況完全不符合基本假設。
反例模式
秩不足與 $n=p$ 的情況
秩不足。 令 的兩列分別為 和 。則 的行列式為 ,所以 無定義。此外,對每個 , 和 都給出相同的均值 。數據無法區分它們,因此在此框架下無法為斜率對比 給出有意義的區間。
的情況。 若矩陣滿秩,則 ,故 ,每個樣本都有 。此時 、,而 無定義。擬合雖然精確,殘差卻沒有可供此方差估計量使用的自由度。
這兩種情況都不符合基本假設,必須另行處理。
固定設計的假設同樣重要:以上每個概率都在 保持不變的前提下計算。隨機抽取的設計、方差不相等的誤差、選擇變量或檢查診斷結果後才報告的區間、不依賴分布的穩健性,以及多個區間同時成立的陳述,都各自需要另外論證,本文並未處理。係數區間也只量度模型中的關聯,本身不能證明因果效應。
習題
練習 1.7.11
(令 ,其中 。推導 、、、 的區間及預測區間。)
基礎
解答(4)
- 1
計算估計量及投影
,,所以 。又 ,所以 ,。
- 2
辨認方差估計
,故 就是通常的樣本方差。
- 3
以 套用對比定理
。由對比定理,。區間為 ,即單樣本 區間。
- 4
以 套用預測樞紐量
,因此預測區間為 。
練習 1.7.12
(對 ,比較 和 的區間。然後以三點例子中的斜率計算 的情況。)
核心
解答(3)
- 1
縮放標準誤
將 換為 ,會令 乘上 ,所以標準誤變為 。
- 2
縮放樞紐量
關鍵一步
樞紐量變成 ,它有相同的 分布及相同絕對值。因此新區間為 。它等於舊區間乘以 ;若 ,端點次序便會交換。
- 3
計算
估計值為 ,標準誤為 。半寬為 ,所得區間為 。核對: 乘以 約得 ;重排端點後便是相同區間。
練習 1.7.13
(用行為 和 的矩陣 擬合 ,並解釋哪一步失效。)
基礎
解答(2)
- 1
解方陣方程組
可逆,所以 ;擬合值 與數據完全相同。因此 、,且 。
- 2
找出失效之處
無定義,也沒有 分布,因此不存在此形式的區間。數據確定了擬合直線,但殘差自由度為零,無法提供此 程序所需的方差估計。
相關筆記
先修知識包括正交投影與最小二乘、多元正態向量,以及正態樣本的卡方分布和 分布。