動機
公式要成為計算方法,還須交代輸入來自哪裏、哪些記錄獲接納、記錄之間保留甚麼狀態,以及最後怎樣核查答案。這些選擇都有數學意義。若重試令某筆記錄重複,程式解的已是另一個最小二乘問題;若非有限數進入累加器,後面的正確代數也無法補救。若先把整個檔案放入清單,之後才逐項迴圈,該迴圈也不能證明整個程序只需少量記憶體。
本節建立一條完整但小型的管線:產生合成 CSV 檔、以有界批次讀取、核查欄位與記錄識別碼、更新摘要、擬合仿射響應,再與獨立解析計算比較。例子只用 Python 標準函數庫及臨時目錄中的普通檔案。
統計解釋先刻意收窄。我們解的是這些已給記錄的描述性擬合問題。合成記錄以確定規則建立,所以殘差平方和不會自動帶有某個置信水平。若要把它解釋成母體估計,還須另加抽樣模型。能執行及能通過數值檢查,與能支持某個推論,是不同的成就。
定義
只有先說清哪些記錄算作數據,數學才可以開始。
定義 4.1.1
(記錄與有序輸入規約)
記錄有三個欄位:整數識別碼、有限實數預測量 、有限實數響應 。輸入規約要求識別碼按 排列,恰好各一次。若一筆記錄欄位數正確、解析為有限值,並帶有下一個預期識別碼,便稱它獲接納。
這比唯一性更強,適合循序產生的合成檔。若來源無序,便需要另一種重複偵測;只保存下一個預期號碼,不能驗證任意無序識別碼是否唯一。規約亦有完整性界限:順序檢查只驗證已讀取的行構成前綴 ;若不知道預期總數 ,便無法偵測末尾缺失。要核實固定快照完整,須將最終筆數與可信的預期 比較。示範另行核對預期筆數 110。
定義 4.1.2
(中心化串流狀態)
對首 筆獲接納的數據,定義均值 及中心和:
狀態包含筆數 、兩個均值及三個中心和。
每批至多 筆, 為正整數;批次只是輸入緩衝,並不是新的統計樣本。改變批次大小,不應改變獲接納的記錄或精確運算的目標。若實作同時改變歸約次序,浮點結果則可能略有不同。
模型是 ,損失為全部獲接納記錄的殘差平方和。若 ,所有預測量都相同,截距與斜率便不能分別識別。程式應報告退化,而非除以零。若它為正但極小,斜率仍可能對微小擾動十分敏感;「可逆」與「穩定」不能混用。
定理 / 命題
命題 4.1.3
(成對中心和的單筆更新)
非空狀態已概括 對數據。新一對到達時,令 、、,並取
新中心和為 、、。第一對數據以自身座標作均值,三個中心和皆為零。
定理 4.1.4
(擬合直線及殘差證書)
若 且 , 的唯一最小點是
這些是獲接納有限數據的精確恆等式,本身不提供不確定性區間或因果解釋。
證明思路
證明
(單筆更新的證明)
舊記錄的每個偏差都移動同一常數:,。對 筆舊記錄展開,
因為相對於恰好這 筆記錄之均值的偏差總和為零。新記錄貢獻 。兩者相加,增量為 。又 ,所以增量等於 ,即所述交乘更新;把兩個座標取相同,便得到平方和更新。第一對數據以自身座標作均值,三個中心和皆為零。由歸納法,每接納一筆後,狀態都等於對恰好已接納前綴使用定義的答案。
證明
(擬合直線定理的證明)
先固定斜率 。令 ,對截距配方可知損失 恰在 的均值 處最小。代入後損失成為 ,展開得
正的 使第一項只在指定斜率時為零,因而截距也唯一。最後一項就是該直線的平方損失,所以非負。也可對兩個中心數據向量使用 Cauchy–Schwarz,得到 。
概念視角幾何
殘差是響應中與預測變量不相關的部分
當 時,記 ,即中心化預測向量與響應向量夾角的餘弦。證書式便成為 :擬合直線移除了中心化響應能量中 的份額,也就是響應在中心化預測向量上投影的長度平方。界 正是證明中的 Cauchy–Schwarz 一步,而殘差為零恰好等價於 。在下面的合成例子中,。
第一個證明的代數很短;值得留意的是它在甚麼條件下才可應用。
證明透視
三個不變量分別負責甚麼?
更新證明的關鍵一步,是舊偏差的總和為零。這只因已儲存的均值恰好是已接納記錄的均值才成立,所以證明是一個歸納,其歸納假設就是代數不變量:摘要描述已接納前綴。這段代數要有意義,還需要另外兩個不變量。結構不變量說每個已接納項目都是有效有限數對;一個 NaN 會令之後所有和都變成 NaN,任何恆等式都無法補救。識別碼不變量說它們恰好構成預期前綴,沒有遺漏或重複。遞推只是在後兩者成立時證明代數結論,不能順便驗證檔案格式或替你找出重複輸入。在第二個證明中,預測量分散度為正,既容許相除,也使斜率的平方項嚴格決定最小點。
例題詳解
例題 4.1.5
(執行之前先算出合成目標)
產生十塊數據,每塊預測量都是 。第 塊取 ,偶數塊的 ,奇數塊則為一。每塊的預測量和為零,兩個誤差符號各有五塊。因此 、、,且 。交叉項 的和為零,故 、。直線恰為 ,殘差平方和是 。這個答案來自設計本身,不是另一份相同遞推程式的輸出。
以下是一個完整可執行程式。它逐筆寫檔,逐批讀檔,結束時移除臨時檔,從未把全部記錄同時載入記憶體。把整段放進一個 Python 檔便可執行。
import csv
import math
import tempfile
from itertools import islice
from pathlib import Path
def fit_file(path, batch_size=8):
if batch_size < 1:
raise ValueError("batch_size must be positive")
n = 0
mx = my = sxx = sxy = syy = 0.0
with open(path, newline="", encoding="utf-8") as handle:
rows = csv.reader(handle)
if next(rows, None) != ["row_id", "x", "y"]:
raise ValueError("unexpected schema")
while True:
batch = list(islice(rows, batch_size))
if not batch:
break
for row in batch:
if len(row) != 3:
raise ValueError("wrong field count")
rid, xs, ys = row
if int(rid) != n:
raise ValueError("missing, repeated or reordered id")
x, y = float(xs), float(ys)
if not (math.isfinite(x) and math.isfinite(y)):
raise ValueError("nonfinite measurement")
dx, dy = x - mx, y - my
n += 1
mx += dx / n
my += dy / n
sxx += dx * (x - mx)
sxy += dx * (y - my)
syy += dy * (y - my)
if n < 2 or sxx <= 0:
raise ValueError("line is not identified")
slope = sxy / sxx
return n, my - slope * mx, slope, syy - sxy * slope
with tempfile.TemporaryDirectory() as folder:
path = Path(folder) / "measurements.csv"
with open(path, "w", newline="", encoding="utf-8") as handle:
writer = csv.writer(handle)
writer.writerow(["row_id", "x", "y"])
for i in range(110):
x = i % 11 - 5
noise = -1 if (i // 11) % 2 == 0 else 1
writer.writerow([i, x, 2 + 3 * x + noise])
answer = fit_file(path)
expected = (110, 2.0, 3.0, 110.0)
assert answer[0] == expected[0]
assert all(math.isclose(a, b, rel_tol=1e-11, abs_tol=1e-11)
for a, b in zip(answer[1:], expected[1:]))
print(answer[0], *(round(value, 8) for value in answer[1:]))
輸出為 110 2.0 3.0 110.0。容差承認浮點運算的捨入,解析設計則提供比較標準。數值解析器容許外圍空白及數字底線等寫法;本例核查轉換後的值與欄位位置,並不要求數字採唯一文字拼法。解析失敗會中止;若想略過壞行,必須另定接納與拒絕筆數及相應目標,不能無聲地把它當成同一數據。
第二次掃描能核查甚麼
充分統計量公式從總中心能量減去已解釋能量。若兩者很大而殘差很小,相減可能損失有效位。第二次掃描可改為逐筆算已輸出係數的殘差,再直接加平方;它測量的是實際係數的損失,浮點下不必等於精確最小值。謹慎求和可以提供獨立數值診斷,但不能只因結果較小便宣稱模型正確。
兩次掃描必須使用同一獲接納數據。期間檔案被替換、遺漏值政策改變,或來源持續增加,都使比較失效。持續串流要先固定快照或帶版本的有限前綴,再談兩遍計算。額外讀取有成本;常數摘要記憶體不代表所有驗證免費。
斜率敏感度也能量化。若 的誤差為 , 的誤差為 ,且 ,直接相減兩個比值可得
分母小,便會放大小的絕對誤差。重新置中可改善中間算術,但不能創造數據本來沒有的變化。改預測量單位也會改斜率的數值及單位,所以報告係數時必須附上輸入變換。平移輸入可能令截距很大,但擬合預測仍相同。
例題 4.1.6
(記憶體與精度是不同預算)
批次上限為 ,分析最多保留 行及固定數量數值,工作記憶體為 筆記錄,算術為 ;輸入檔另需 磁碟。實際位元組數依欄寬及物件開銷而定,不能把六個累加量當成整個程序的全部記憶體。
全部預測量加 ,精確中心和及斜率不變,但截距改變。中心遞推避開約 原始二階矩的相減,卻沒有消除輸入捨入、溢出及近退化條件數。當殘差來自兩個大能量之差,更高精度或第二次掃描可能值得採用。
例題 4.1.7
(格式正確也可能沒有足夠資訊)
數據為 。它可通過全部欄位及識別碼檢查,但 。任何滿足 的直線都有相同預測。程式拒絕輸出唯一斜率是正確行為;把零分母換成微小常數,只是在未聲明下替不可識別的問題挑一組參數。
常見錯誤
分批只改變記錄的緩衝方式,不改變所解的問題。最常見的錯誤是合併各批的答案,而不是各批的統計量。
反例模式
平均各批斜率
聲稱:合併數據的斜率等於各批擬合斜率的平均。取第一批 、第二批 。兩批斜率都是 ,平均為 。合併數據有 、,中心預測量為 ,中心響應為 ,所以 、,合併斜率為 。各斜率來自不同擬合問題,某些批次甚至沒有預測量變化。修正方法是合併原始或中心充分統計量,而非擬合係數;下一節會研究這種歸約。
另外兩個錯誤關乎檢查實際證明了甚麼。
常見錯誤
(只檢查獲接納的筆數)
最後筆數為 ,並不能偵測一筆重複配上一筆遺漏:識別碼 同樣給出四筆。數據身份是獨立規約,有序識別碼檢查逐筆執行它。
常見錯誤
(把負殘差截成零)
精確殘差非負,計算式卻可能因捨入略為負。不要把所有負值一概截成零,尤其是明顯負值;應核查尺度與方法,必要時以第二次掃描直接重算殘差。
輸入檢查亦不能保證線性模型適切。即使全部斷言通過,殘差仍可能呈現系統曲線,指出表示族本身不足。
總結
有用的數學管線同時說明記錄、接納規則、狀態不變量、資源成本及獨立答案。預測量有變化時,成對中心和可單遍求擬合線。程式展示完整路徑,並把統計不確定性、模型適切性及嚴重數值條件問題留作各自分析。
練習
快速檢查
(對 ,求兩個均值、三個中心和、擬合直線與殘差。斜率為何可識別?)
先把數據中心化。
解答 · 答案
,中心向量為 及 ,所以 。斜率為二、截距為一,殘差為 。唯一性來自正的 ,並不是只因殘差為零;預測量全相同時也可能零殘差而參數不唯一。
快速檢查
(預期識別碼為 ,實際檔案卻為 。程式如何處理?為何只檢查最後四筆不夠?)
逐筆追蹤預期識別碼計數器。
解答 · 答案
接納兩筆後,下一個預期號碼是二,第二次出現一便在累加前報錯。重複與遺漏可互相抵銷筆數,卻不會恢復原始數據。本程式的論證依賴有序號碼,不能直接宣稱它驗證了任意無序來源。
快速檢查
(每個響應同加常數 。證明均值、中心和、截距、斜率及最小殘差如何改變。)
追蹤每個中心響應的變化。
解答 · 答案
響應均值變成 ,預測量均值不變。全部中心響應不變,所以三個中心和不變。斜率仍是 ,截距成為 ,每筆殘差亦不變,因此最小殘差平方和不變。這是精確平移等變性;浮點輸入轉換後不保證逐位元相同。
快速檢查
(十億筆固定欄寬記錄,批次 與 分別怎樣影響漸近算術量、緩衝記憶體及統計目標?任一批次能否保證近常數預測量的斜率準確?)
把算術量、緩衝記憶體與目標問題分開考慮。
解答 · 答案
兩者皆讀取全部數據並作 算術,緩衝分別至多一百及一萬筆,相差一百倍,摘要大小則不變。同一接納與更新次序下,目標相同。近退化是條件數問題,不是緩衝大小問題;較大批次可能減少輸入開銷,但速度優勢仍須測量,不能由斜率公式推得。