利用已知均值的量
无偏的 Monte Carlo 估计仍可能波动很大。若每次模拟也产生一个与目标相关、期望已知的量,减去它的中心化波动,便可能在不改变目标的情况下降低方差。这是在配对重复次数相同时的数学比较;额外运算和内存成本须另行测量。
定义 8.1.1
(控制变量估计量)
设 有有限二阶矩,未知目标为 ,已知控制变量均值为 ,且 。一对内的变量可以相依。对固定实数 定义
产生 个独立同分布的副本 ,其中 预先固定,并取平均 。
独立性是指不同配对之间,而非 和 之间:方法之所以有效,正因为 与 在同一次重复中一同变动。
定理 8.1.2
(最佳固定系数)
每个固定 均满足 。方差在以下系数达到最小:
证明
(展开方差并配方)
中心化给出 ,取平均不改变均值。展开中心化变量的平方:
配方得
它恰在 时最小。由于各次配对独立,平均的方差为此量除以 。最小值非负,因为它本身是方差。
证明透视
无偏性与方差使用不同假设
证明给出两个互不依赖的结论,各自建立在不同假设之上。无偏性只用到线性性、精确的控制均值 ,以及 是常数:若 是随机的且与 相关, 的期望就不能拆成 。方差公式用到有限二阶矩及 ,后者使关于 的二次式严格凸,因而有唯一最小点。重复之间的独立性只在最后一步用来除以 ;一对内的相依性才是收益的来源,因为被减去的项是 。
最佳方差也可以不经配方直接读出。
概念视角几何
最佳系数是正交投影
在有限方差随机变量组成、以 为内积的空间中, 是 的长度平方。对 求最小,就是把 投影到 张成的直线上, 是投影系数,也就是 对 作最小二乘回归的斜率。残差与 正交,勾股定理给出最小值 ,其中 是 与 的相关系数。只有 重要:强负相关与强正相关同样有用。
积分算例
例题 8.1.3
(用 估计 的均值)
令 在 上均匀,、。则 、、、,且 。所以 ,而
使用 次独立抽样时,调整后平均的方差是 ,普通平均则为 :方差降低十六倍,与 吻合。此比较使用相同数目的 抽样;运行时间比较还须计算控制变量的求值及存储成本。
例题 8.1.4
(负相关的控制变量)
保留 ,但改用 ,其均值仍为 、方差仍为 。此时 ,所以 ,而
事实上 与上例的 是同一个随机变量。系数的符号跟随协方差的符号;方差降低只取决于其大小。
例题 8.1.5
(系数可以偏离多远)
在均匀例子中,配方式为 。取 ,,仍比 小十倍。取 ,:恰好等于完全不用控制变量的方差。取 ,,此时控制变量反而有害。一般而言,固定的 有帮助当且仅当它严格位于 与 之间;边界值 是毫无改变的边缘情形。
从数据选择系数
最佳系数常依赖未知矩。一个方法是从独立试运行估计系数 ,再产生新的独立估计配对。对任意有限的试运行结果作条件化后,估计平均仍然无偏,因为 。对固定 定义 。若 有有限二阶矩,无条件估计量无偏,其方差为 。但有噪声的试运行仍可能选出令方差比不用控制变量更大的系数,上面的 就是一例。
反例模式
重用样本可能引入偏差
在同一均匀例子中,只取一次 ,并从同一抽样选系数 。调整后观察变为
其期望是 ,并非目标 。这不是说每种同样本拟合方法都有偏,而是说系数依赖估计数据时,不能直接套用固定系数的无偏性。
若 ,所列最优公式会除以零;此时 几乎必然成立,中心化不能降低方差。
常见错误
(把近似的控制均值当作已知)
若提供的控制均值是 而非真正的 ,调整后的期望变为 。在均匀例子中取 、提供的均值为 ,则无论 多大,每个平均估计的都是 。即使相关性很强,也无法修正所谓已知均值的错误;方差只是围绕错误的值收缩。
习题
快速检查
(在均匀例子中,验证 并计算 。)
解答 · 答案
。由于 ,。
快速检查
(对 次独立均匀抽样,写出普通与最佳调整后的方差。)
解答 · 答案
普通平均的方差为 ,调整后平均为 。
快速检查
(若 但 ,最佳固定系数是多少?)
解答 · 答案
。此时方差为 ,非零固定系数只会增加 项。
快速检查
(为什么从独立试运行估计的系数能保持新估计平均的无偏性,而同样本拟合须另行分析?)
解答 · 答案
对独立试运行作条件化后,其有限系数相对于新配对是固定的,新中心化控制变量仍有零均值。若用同一样本决定系数,这种条件独立性未必成立,如反例所示。
延伸阅读
MIT 开放课程:模拟方法 讨论控制变量和两阶段模拟。