动机
公式要成为计算方法,还须交代输入来自哪里、哪些记录被接受、记录之间保留什么状态,以及最后怎样核查答案。这些选择都有数学意义。若重试使某条记录重复,程序求解的已是另一个最小二乘问题;若非有限数进入累加器,后面的正确代数也无法补救。若先把整个文件读入列表,之后才逐项循环,这个循环也不能证明整个程序只需少量内存。
本节建立一条完整但小型的管线:生成合成 CSV 文件、以有界批次读取、核查字段与记录标识符、更新摘要、拟合仿射响应,再与独立的解析计算比较。例子只用 Python 标准库及临时目录中的普通文件。
统计解释先刻意收窄。我们求解的是这些给定记录的描述性拟合问题。合成记录按确定规则生成,所以残差平方和不会自动带有某个置信水平。若要把它解释成总体估计,还须另加抽样模型。能够运行、能够通过数值检查,与能够支持某个推断,是不同层次的成果。
定义
只有先说清哪些记录算作数据,数学才可以开始。
定义 4.1.1
(记录与有序输入约定)
记录有三个字段:整数标识符、有限实数预测变量 、有限实数响应 。输入约定要求标识符按 排列,恰好各出现一次。若一条记录字段数正确、解析为有限值,并带有下一个预期标识符,就称它被接受。
这比唯一性更强,适合按顺序生成的合成文件。若来源无序,就需要另一种重复检测方法;只保存下一个预期编号,不能验证任意无序标识符是否唯一。约定还有完整性界限:顺序检查只验证已读取的行构成前缀 ;若不知道预期总数 ,就无法检测末尾缺失。要核实固定快照完整,须将最终记录数与可信的预期 比较。示例另行核对预期记录数 110。
定义 4.1.2
(中心化流式状态)
对前 条被接受的数据,定义均值 及中心和:
状态包含记录数 、两个均值及三个中心和。
每批至多 条, 为正整数;批次只是输入缓冲,并不是新的统计样本。改变批次大小,不应改变被接受的记录或精确运算的目标。若实现同时改变归约次序,浮点结果则可能略有不同。
模型是 ,损失为全部被接受记录的残差平方和。若 ,所有预测变量都相同,截距与斜率就不能分别识别。程序应报告退化,而不是除以零。若它为正但极小,斜率仍可能对微小扰动十分敏感;“可逆”与“稳定”不能混为一谈。
定理 / 命题
命题 4.1.3
(成对中心和的单条更新)
设非空状态已概括 对数据。新一对到达时,令 、、,并取
新中心和为 、、。第一对数据以自身坐标作为均值,三个中心和都为零。
定理 4.1.4
(拟合直线及残差证书)
若 且 , 的唯一最小点是
这些是被接受的有限数据的精确恒等式,本身不提供不确定性区间或因果解释。
证明思路
证明
(单条更新的证明)
旧记录的每个偏差都移动同一常数:,。对 条旧记录展开,
因为相对于恰好这 条记录的均值,偏差之和为零。新记录贡献 。两者相加,增量为 。又 ,所以增量等于 ,即所述交叉乘积更新;令两个坐标相同,就得到平方和更新。第一对数据以自身坐标作为均值,三个中心和都为零。由归纳法,每接受一条记录后,状态都等于对恰好已接受的前缀直接使用定义的结果。
证明
(拟合直线定理的证明)
先固定斜率 。令 ,对截距配方可知损失 恰在 的均值 处最小。代入后损失变为 ,展开得
正的 使第一项只在指定斜率处为零,因而截距也唯一。最后一项就是该直线的平方损失,所以非负。也可以对两个中心化数据向量使用 Cauchy–Schwarz 不等式,得到 。
概念视角几何
残差是响应中与预测变量不相关的部分
当 时,记 ,即中心化预测向量与响应向量夹角的余弦。证书式就变成 :拟合直线去掉了中心化响应能量中 的份额,也就是响应在中心化预测向量上投影的长度平方。界 正是证明中的 Cauchy–Schwarz 一步,而残差为零恰好等价于 。在下面的合成例子中,。
第一个证明的代数很短;值得注意的是它在什么条件下才能应用。
证明透视
三个不变量分别负责什么?
更新证明的关键一步,是旧偏差之和为零。这只因为已存储的均值恰好是已接受记录的均值才成立,所以证明是一个归纳,其归纳假设就是代数不变量:摘要描述已接受的前缀。这段代数要有意义,还需要另外两个不变量。结构不变量说每个已接受的项目都是有效的有限数对;一个 NaN 会使之后所有的和都变成 NaN,任何恒等式都无法补救。标识符不变量说它们恰好构成预期前缀,没有遗漏或重复。递推只是在后两者成立时证明代数结论,不能顺便验证文件格式或替你找出重复输入。在第二个证明中,预测变量的离散程度为正,既允许相除,也使斜率的平方项严格决定最小点。
例题详解
例题 4.1.5
(运行之前先算出合成目标)
生成十块数据,每块的预测变量都是 。第 块取 ,偶数块的 ,奇数块的 。每块的预测变量之和为零,两种误差符号各有五块。因此 、、,且 。含 的交叉项之和为零,故 、。拟合直线恰为 ,残差平方和是 。这个答案来自设计本身,不是另一份相同递推程序的输出,因此可以独立检验实现。
以下是一个完整的可运行程序。它逐条写文件、逐批读文件,结束时删除临时文件,从未把全部记录同时载入内存。把整段代码放进一个 Python 文件即可运行。
import csv
import math
import tempfile
from itertools import islice
from pathlib import Path
def fit_file(path, batch_size=8):
if batch_size < 1:
raise ValueError("batch_size must be positive")
n = 0
mx = my = sxx = sxy = syy = 0.0
with open(path, newline="", encoding="utf-8") as handle:
rows = csv.reader(handle)
if next(rows, None) != ["row_id", "x", "y"]:
raise ValueError("unexpected schema")
while True:
batch = list(islice(rows, batch_size))
if not batch:
break
for row in batch:
if len(row) != 3:
raise ValueError("wrong field count")
rid, xs, ys = row
if int(rid) != n:
raise ValueError("missing, repeated or reordered id")
x, y = float(xs), float(ys)
if not (math.isfinite(x) and math.isfinite(y)):
raise ValueError("nonfinite measurement")
dx, dy = x - mx, y - my
n += 1
mx += dx / n
my += dy / n
sxx += dx * (x - mx)
sxy += dx * (y - my)
syy += dy * (y - my)
if n < 2 or sxx <= 0:
raise ValueError("line is not identified")
slope = sxy / sxx
return n, my - slope * mx, slope, syy - sxy * slope
with tempfile.TemporaryDirectory() as folder:
path = Path(folder) / "measurements.csv"
with open(path, "w", newline="", encoding="utf-8") as handle:
writer = csv.writer(handle)
writer.writerow(["row_id", "x", "y"])
for i in range(110):
x = i % 11 - 5
noise = -1 if (i // 11) % 2 == 0 else 1
writer.writerow([i, x, 2 + 3 * x + noise])
answer = fit_file(path)
expected = (110, 2.0, 3.0, 110.0)
assert answer[0] == expected[0]
assert all(math.isclose(a, b, rel_tol=1e-11, abs_tol=1e-11)
for a, b in zip(answer[1:], expected[1:]))
print(answer[0], *(round(value, 8) for value in answer[1:]))
输出为 110 2.0 3.0 110.0。容差承认浮点运算的舍入,解析设计则提供比较标准。数值解析器允许两侧空白及数字下划线等写法;本例核查的是转换后的值与字段位置,并不要求数字采用唯一的文字写法。解析失败会中止计算;若想跳过坏行,必须另行规定接受与拒绝的记录数及相应目标,不能悄悄地把它当成同一份数据。
第二次扫描能核查什么
拟合之后有两种计算残差的方法。充分统计量公式从总中心能量中减去已解释的能量;若两者很大而残差很小,相减可能损失有效数字。第二次扫描则逐条计算所输出系数的残差,再直接把平方相加;它测量的是实际返回的系数的损失,在舍入之后不必等于精确最小值。对这些非负项仔细求和,可以提供独立的数值诊断,但不能只因结果较小就宣称模型正确。
两次扫描必须使用同一份被接受的数据。两次扫描之间文件被替换、缺失值规则改变,或者来源持续增加,都会使比较失效。对于持续的数据流,要先固定快照或带版本号的有限前缀,再谈两遍计算。额外读取有成本;常数大小的摘要内存并不意味着所有验证都是免费的。
斜率的敏感度也能量化。若 的误差为 , 的误差为 ,且 ,直接把两个比值相减可得
分母小,就会放大小的绝对误差。重新中心化可以改善中间算术,但不能创造数据本来没有的变化。改变预测变量的单位也会改变斜率的数值及单位,所以报告系数时必须附上输入变换。平移输入可能使截距很大,但拟合的预测值仍然相同。
例题 4.1.6
(内存与精度是不同的预算)
批次上限为 时,分析最多保留 行及固定数量的数值,工作内存为 条记录,算术量为 ;输入文件另需 磁盘空间。实际字节数取决于字段宽度及对象开销,不能把六个累加量当成整个程序的全部内存。
所有预测变量都加上 ,精确的中心和及斜率不变,但截距改变。中心化递推避开了约 量级的原始二阶矩相减,却没有消除输入舍入、溢出及近退化的条件数问题。当残差来自两个大能量之差时,更高精度或第二次扫描可能值得采用。
例题 4.1.7
(格式正确也可能没有足够的信息)
数据为 。它可以通过全部字段及标识符检查,但 。任何满足 的直线都给出相同的预测。程序拒绝输出唯一斜率是正确的行为;把零分母换成微小常数,只是在未作说明的情况下替不可识别的问题挑选一组参数。
常见错误
分批只改变记录的缓冲方式,不改变所求解的问题。最常见的错误是合并各批的答案,而不是各批的统计量。
反例模式
平均各批斜率
断言:合并数据的斜率等于各批拟合斜率的平均值。取第一批 、第二批 。两批斜率都是 ,平均为 。合并数据有 、,中心化预测变量为 ,中心化响应为 ,所以 、,合并斜率为 。各斜率来自不同的拟合问题,某些批次甚至没有预测变量的变化。修正方法是合并原始或中心化的充分统计量,而不是拟合系数;下一节研究这种归约。
另外两个错误涉及检查实际证明了什么。
常见错误
(只检查被接受的记录数)
最终记录数为 ,并不能检测一条重复加上一条遗漏:标识符 同样给出四条记录。数据身份是独立的约定,有序标识符检查逐条执行它。
常见错误
(把负残差截成零)
精确残差非负,计算式却可能因舍入而略为负。不要把所有负值一律截成零,尤其是明显的负值;应核查尺度与方法,必要时用第二次扫描直接重算残差。
输入检查也不能保证线性模型合适。即使全部断言都通过,残差仍可能呈现系统性的曲线形态,说明模型族本身不足。
总结
有用的数学管线同时说明记录、接受规则、状态不变量、资源成本及独立答案。预测变量有变化时,成对中心和可以一遍扫描求出拟合直线。程序展示了完整路径,并把统计不确定性、模型适当性及严重的数值条件问题留作各自的分析。
练习
快速检查
(对 ,求两个均值、三个中心和、拟合直线与残差。斜率为什么可以识别?)
先把数据中心化。
解答 · 答案
,中心化向量为 及 ,所以 。斜率为 、截距为 ,残差为 。唯一性来自正的 ,并不只是因为残差为零;预测变量全都相同时,也可能残差为零而参数不唯一。
快速检查
(预期标识符为 ,实际文件却为 。程序如何处理?为什么只检查最终有四条记录是不够的?)
逐条跟踪预期标识符计数器。
解答 · 答案
接受两条记录后,下一个预期编号是 ,第二次出现的 在累加之前就会报错。重复与遗漏可以使记录数相互抵消,却不会恢复原始数据。本程序的论证依赖有序编号,不能直接宣称它验证了任意无序的来源。
快速检查
(每个响应都加上常数 。证明均值、中心和、截距、斜率及最小残差如何改变。)
跟踪每个中心化响应的变化。
解答 · 答案
响应均值变为 ,预测变量均值不变。所有中心化响应不变,所以三个中心和不变。斜率仍是 ,截距变为 ,每条记录的残差也不变,因此最小残差平方和不变。这是精确的平移等变性;经过浮点输入转换后,不保证逐位相同。
快速检查
(对十亿条定宽记录,批次 与 分别怎样影响渐近算术量、缓冲内存及统计目标?任一批次能否保证近常数预测变量的斜率准确?)
把算术量、缓冲内存与目标问题分开考虑。
解答 · 答案
两者都读取全部数据并做 算术,缓冲区分别至多容纳一百条和一万条记录,相差一百倍,而摘要大小不变。在相同的接受与更新次序下,目标相同。近退化是条件数问题,不是缓冲区大小问题;较大的批次可能减少输入开销,但速度优势仍须测量,不能由斜率公式推出。