为什么要枚举分配?
上一节通过对观测数据进行有放回重抽样,用自助法近似估计量的抽样变异。本节研究的检验对于固定的有限个单位具有精确有效性。这种有效性来自可以明确说明的概率机制:处理的随机分配,或零假设下观测值的可交换性。
同样的推理也见于数据评估。例如,可以在随机分配的用户上比较改进系统与基线系统,或询问分类器的准确率是否可能来自与特征无关的标签。每种情形的核心问题都是:*数据的哪些重新标记是等可能的,为什么?*置换检验的可信程度取决于能否回答这个问题。
基于设计的设定
固定 个单位,编号为 ,以及满足 的整数 。记 。
潜在结果。每个单位 有两个固定数值:接受处理时的结果 和不接受处理时的结果 。它们不是随机变量。这样的记法假定单位 的结果只取决于它自身是否接受处理,而不受其他单位的处理状态影响。
分配。令 为所有满足 的子集 所组成的集合,并令 。处理组 从 中均匀抽取,且与潜在结果独立:
这称为完全随机化。此处唯一的随机性来自 的选择。
观测结果。若 ,则观测到 ;否则观测到 。
一般而言,我们无法重新计算另一种分配下的数据,因为每个单位的两个潜在结果只有一个被观测到。若零假设能补足缺失的另一半,情况就不同了。
定义 7.6.1
(Fisher 强零假设)
强零假设是指:对每个单位 ,都有 。
在此假设下,用 表示两者的共同值。无论 如何取值,都有 。因此,在每一种分配下,观测结果向量 都相同;每种假想分配下的结果都可以确知。
检验统计量。在查看数据之前,确定均值差
在强零假设下,对每个 ,而不只是实际出现的 ,都可以从观测数据计算 。
定义 7.6.2
(随机化 值)
上尾 p 值为
以绝对值定义的双侧 p 值为
实际观测到的分配总会被计入,因此两个 p 值均至少为 。
一次完整枚举
例题 7.6.3
(四个单位、两个接受处理,结果为 )
取 、,于是 。观测结果为 ,总和为 ,观测到的处理组为 。这里和下文用结果值为单位命名。若处理组两数之和为 ,处理组均值为 ,对照组均值为 ,故 。
| 处理组 | 处理组均值 | 对照组均值 | |
|---|---|---|---|
观测统计量为 。只有一种分配满足 ,所以 。
有两种分配满足 ,即 和 ,所以 。
可达到的最小上尾 p 值为 。无论本设计产生何种结果,这个非随机化的计数检验都不能在 水平拒绝零假设。障碍在于设计中只有六种等可能分配,并不意味着数据没有信息。
下面的互动图列出设计中的每一种分配及其精确统计量,把并列值分组,并就你选定的实际处理单位,把精确拒绝概率 与水平 比较。
这里没有使用正态近似或连续性修正。参考分布就是六个值的精确列表。出现并列值时,定义中的 会把它们纳入计数,如下一个定理所示。
含并列值时的精确有效性
定理 7.6.4
(随机化 值的超均匀性)
假设采用完全随机化,且强零假设成立。令 为任意实值分配统计量,它由固定结果向量 计算,并在查看数据前选定;例如 或 。定义 。则对每个 ,
证明
(将相等的值分组,再计算上尾)
令 为 在 上取得的不同值。令 为满足 的分配数目, 为满足 的分配数目。
若 ,则 。因此,同一并列组内的每个分配得到相同 p 值;该 p 值把整个并列组和所有更高的组一起计入。
这些计数满足 。因此事件 恰在 时发生,其中 是满足 的最大指标。若不存在这样的指标,事件为空,其概率为 。
否则拒绝域是最高的 组之并,恰含 个分配。强零假设使 仅是 的函数,而 均匀分布。因此
证明透视
两个假设在哪里用到
唯一不明显的一步,是把看似关于随机数的事件 ,换成“ 落在最高的 个并列组中”这一事件;后者是 中在抽取 之前就已固定的子集。每个假设各用一次。强零假设使 ,从而每个 和每个 ,都不随 改变;没有它,分组本身就会随实际分配而移动。完全随机化再给出这个固定子集的概率 ;若采用其他设计,计数须换成该子集的设计概率。
并列值不会带来困难,因为定义中的 把整个并列组放在分界的同一侧,所以分界只能落在某个累计计数 处,不会落在组内。最后不等式的余量 ,衡量检验水平比最后一个可达累计计数高出多少。
超均匀不等于均匀。在 时,以及 等于某个累计计数 时,等式 成立;在其他水平,检验严格保守。
在 的例子中,各值互异,故 且 。出现并列值时,各组不止一个成员,计数时必须保留它们。
例题 7.6.5
(并列结果 及全部相等的边界情形)
单位 的结果分别为 ,且 。列出全部六种分配,保留重复值:
| 处理组 | |
|---|---|
观测组为 时,统计量为 。一种分配满足 ,所以 ;两种分配满足 ,所以 。对于混合的一对,,五种分配满足 ,因此 。
重复次数很重要。若把列表压缩为三个不同值 ,就会错误地把每个值的概率都视为 。取值为 的组包含四种分配,这正是证明中的 :这里 、,所以 从 直接跳到 ,中间没有其他取值。
极端情况下,若所有结果相等,每种分配都得到 。此时 、,所以总有 ;对每个小于 的 ,都有 。“精确”指有限样本中检验水平得到保证,并不意味着 p 值服从均匀分布。
事先选择尾部。定理直接涵盖事先确定的 或 ;另有论证的选择规则也可以对每个分配重新计算。
例题 7.6.6
(看过数据后才选尾部)
假设先计算上尾 p 值及对应的下尾 p 值 ,再报告较小者。在 的设计中, 和 都使事件 发生,因此其概率为 ,是标称水平 的两倍。看过数据后才选尾部是一种事后选择。
p 值说明什么
是在指定零假设和指定设计下计算的尾概率。如果每个单位的结果都不受处理影响,那么均匀随机分配产生至少与观测值一样大的均值差的概率是 。
常见错误
(把 p 值读成零假设为真的概率)
不是强零假设为真的概率,也不是效应为零的概率。它是在假定零假设成立后,对分配方式计算的概率。零假设是关于固定数值的固定陈述,这里并没有为其赋予先验分布。
推断也只针对这 个单位。无需从总体中随机抽取单位,随机分配本身已足以支持这一检验。但同样由于这个原因,单凭随机分配不能推出关于未参加研究的单位的结论。
强零假设与弱零假设
弱零假设说平均效应为零:。
强零假设蕴含弱零假设,反过来却不成立,因为各单位的效应可以相互抵消。上面的随机化检验在填补缺失结果时使用了强零假设,因此其有效性保证只针对强零假设。下面最后一道练习将明确构造两者之间的差别。
由可交换性得到的置换检验
一个相关但逻辑上独立的检验不需要随机分配处理。
假设 相互独立,前 个来自分布 ,其余来自 。在 下,该向量的分量独立同分布,因此具有可交换性。
定义 7.6.7
(可交换性)
若对 的每个置换 ,向量 与 的分布相同,则称随机向量 是可交换的。
对合并后的数值多重集取条件,则把位置分成大小为 与 的两组的每种方式都等可能。相同的计数证明对合并样本的条件分布成立,因而无条件时也成立。
这个零假设关乎分布,因此结论也关乎分布。其依据是抽样模型,而非实验设计。
均值相等并不够,因为可交换性是关于整个分布的性质。
反例模式
均值相等却不可交换
设第一组唯一的观测值必为 。第二组的两个观测值 相互独立,各以概率 取 。两组均值均为 。令 ,使用 ,并考察从合并值中选择哪个值作为单元素组的三种方式。
- ,概率 。合并值为 。三种单元素选择得到的 为 。观测到 ,所以 。
- ,概率 。由对称性,。
- 一正一负,概率 。合并值为 。三种选择得到的 为 。观测到 ,所以 。
因此 ,大于 。这里的置换检验无效:虽然均值相等,标签仍携带关于分散程度的信息。
评估任务也要注意同样的问题。在特征与标签独立的独立同分布零假设下,可以通过置换标签来检验关联统计量。若分类器的拟合独立于测试标签,可以固定该分类器;若训练、调参或选择使用了被打乱的标签,则每次打乱都必须重新执行完整的标签依赖流程。这是对指定独立性零假设的检验,而非对较弱命题的检验;对于相互依赖的条目,例如来自同一来源的多个条目,无限制打乱也不会自动有效。
设计决定参考集合
对上述基于设计的论证而言,无限制地均匀置换全部 个标签,对应的是完全随机化,即每个大小为 的子集都等可能。其他分配设计需要使用其实际概率。基于可交换抽样的置换检验则有上文所述的另一种依据。
- 分区组。若在各区组内分别随机化,只在区组内置换。参考集合是各区组内子集集合的乘积。
- 配对。若每对中恰有一个单位接受处理,允许的分配是对内交换。若各对独立、公平地分配,则 对对应 个等可能分配(见配对设计的练习);其他设计需要使用其实际概率。
- 不等分配概率。按设计概率对各分配加权:。分组证明只需将计数换成累计概率。
- 整群或依赖。若整群一起接受处理,应置换群标签,而非单位标签。若单位相互影响,则潜在结果模型本身需要修改。
- 事后选择。若利用处理标签和结果选择统计量、尾部、子组或纳入单位,却没有在每次重新分配时重现该选择,就可能使固定统计量的论证失效。另一种做法是对每个分配重复预先声明的选择规则;在强零假设下,仅根据固定的合并结果进行选择也可能保留该论证。
自助法与置换法
两种方法回答不同的问题。
普通非参数自助法进行有放回重抽样,以近似估计量围绕未知真值的抽样变异。它的渐近有效性需要假设,在非正则问题中可能失败。
置换检验在使重新标记等可能的零假设下进行无放回重新标记。它给出精确的检验水平,但本身既不给出标准误,也不给出总体区间。
常见错误
(用一种方法的参考分布回答另一种方法的问题)
普通自助法的参考分布不会自动成为零假设分布;构造符合零假设的分布可能需要重新中心化或使用其他模型。零假设下的置换分布也不会自动等于备择假设下的抽样分布。两种方法本身不能互相替代。
计算检验
- 先确定设计、统计量和尾部。在计算之前记录这些选择。
- 利用结构。因为 固定, 随处理组总和 增大而增大,因此只需枚举处理组总和。
- 精确比较。并列值影响 p 值,浮点均值可能把真正相等的值分开。尽可能比较整数或有理数总和。可以证明只会扩大计数尾部的非负容差,例如用精确算术计入 ,会得到保守的计数;任意舍入可能拆开或改变并列值的顺序,需要另行论证。
- 了解穷举的限制。 个分配容易枚举; 个则不容易。
- 用蒙特卡洛(Monte Carlo)方法近似。从实际设计分布中独立抽取 个分配 ,且这些分配与观测分配 独立。普通比例 只是精确 p 值的近似。而
本身在零假设下具有超均匀性,因为 可交换。它仍不是精确枚举所得的 p 值,而且不同运行之间会变化。应报告 和随机种子。
练习
练习 7.6.8
(结果为 ,,观测到接受处理的单位结果为 。求 和 。)
基础
解答(2)
- 1
列出三种分配
共有 种分配,总和为 。若处理单位的结果为 ,则 。
处理单位 - 2
计算尾部
观测统计量为 。只有一种分配满足 ,所以 ;有两种满足 ,所以 。
练习 7.6.9
(四个单位组成两对;每对中恰有一个单位接受处理,各对通过相互独立且公平的随机化选择处理单位。观测到的对内处理组减对照组之差为 和 。令 为带符号的对内差之和,求 。)
核心
解答(2)
- 1
找出设计允许的分配
关键一步
设计只允许 种分配,分别对应每对中处理单位的选择。在强零假设下,交换一对中的处理状态会改变该对差值的符号:
符号 使用全部 个子集是错误的。其中两种把一对中的两个单位放到同一组,而设计赋予这些分配概率 。将其纳入会改变参考分布,证明中关于均匀性的步骤便不再描述 的实际抽取方式。
依据: 只有对内交换具有正的设计概率。
- 2
计算上尾
观测值为 ,只有 达到这个值,故 。
练习 7.6.10
(构造一组潜在结果,使弱零假设成立但强零假设不成立,并解释这对随机化检验意味着什么。)
综合
解答(3)
- 1
选取两个效应相反的单位
取两个单位,:
- 单位 1:、,效应为 。
- 单位 2:、,效应为 。
平均效应为 ,因此弱零假设成立;强零假设不成立。
- 2
比较填补的结果与真实结果
关键一步
假设单位 1 接受处理。观测结果为 。强零假设会为另一种分配填入相同结果。实际上,若单位 2 接受处理,则 、,真实结果为 。
- 3
解释检验结果
定理的前提,即结果向量在不同分配下不变,在这里不成立,因此其有效性保证不适用。随机化检验得到的小 p 值是反对“没有任何单位受到影响”的证据;未经进一步论证,它并不是反对“效应的平均值为零”的证据。检验弱零假设需要不同的统计量和不同的论证。
小结
随机化检验对分配进行计数。在强零假设和完全随机化下,观测分配从已知的有限集合中均匀抽取;其他设计需要使用其实际分配概率。将并列值分组,便精确得到 ,通常还会留下保守余量。
两样本置换检验则依赖共同分布下的可交换性。
固定统计量并使参考集合符合数据的实际产生方式,便可得到这里展示的保证。选择程序需要其自身有效的论证,例如在各个分配下重复事先声明的规则。