动机
把两项测量值相加,以及把一组样本排序,都是多个随机变量的变换。只知道各个边际分布,并不足以理解这些运算。和的分布取决于两项如何耦合;排序后的样本则互相依赖,即使原来观测彼此独立也一样。
统一的办法是从联合分布出发,同时变换变量及其可行区域,再积掉不再需要的坐标。卷积就是这个方法的一个例子。次序统计量也是如此:公式中的阶乘,计算有标号的原观测可以怎样占据排序位置。再改用间距坐标,便会发现原分布不同,所揭示的可能是相依,也可能是独立。
定义
若实变量 分别有密度 ,独立性表示联合密度几乎处处为 。令 ,两密度的卷积为
实际积分区域是两个因子都不为零的地方: 必须在 的支撑集,而 必须在 的支撑集。把积分写在整条实线上,并没有取消这些限制。
样本 的次序统计量是排序值 。以下次序统计量的结果,一律假设样本独立同分布,分布函数 绝对连续,有密度 ,因此相等观测值的概率为零。 是第 小的观测,并非原来标号为 的 。
对排序均匀观测 ,定义 个间距
它们均为正,总和为一。最后一项是到固定右端点的距离。若观测是正值但无上界的指数变量,则改用从零到最大观测之间的 个间距,没有最后的固定端点间距。
主要结果
定理 8.1.1
(独立变量的和、差与比值)
若独立变量的密度为 ,则 的一个密度为 ; 的密度为 。由 ,比值 几乎必然有定义,其密度为
每项都是几乎处处成立的密度公式,积分内仍须保留原来的支撑集限制。密度在例外单点为无穷,不会单独使它无效。
定理 8.1.2
(独立同分布排序样本及其边际)
整个排序向量的密度为
对 ,
对 , 在 的联合密度为
而在 为零。任何因子的零次幂均解读为一。
定理 8.1.3
(均匀间距与指数间距的不同结构)
对 个独立同分布的 均匀观测,首 个间距在 、 上有常数联合密度 ,而 。全部 个间距可交换,并且
对 个独立同分布、速率为 的指数观测,从零开始的 个相邻间距则是独立指数变量,速率依次为 。
证明或证明思路
先变换,再求边际
证明
(用变量代换求和、比值及乘积)
对和,使用坐标 。反函数是 ,雅可比(Jacobian)绝对值为一,所以 的联合密度为 。积掉 就证明卷积公式。整数值离散变量的推理相同,只需把互斥事件的概率相加:独立时,。
对比值,在 使用 。反函数是 ,雅可比绝对值为 。分别在 和 区域应用变量代换,再积掉 ,便得到比值公式。若漏掉绝对值,密度可能变成负数。
同样,对乘积 , 的反函数为 ,雅可比绝对值为 ,故
这些公式需要联合密度。相依时,应把 换成真正联合密度,前提是它存在;奇异耦合可能根本没有二维密度。
排序计算排列数
证明
(用有标号位置计算排序密度)
除去概率零的相等值集合,每个排序向量恰有 个有标号的原像。每个排列的雅可比绝对值为一,而且乘积密度相同。把它们的贡献相加,便证得完整排序密度。
只保留 时,在 以下的有序区域积分。在未排序区域 的积分是 ,对称性把它平均分到 个排序区域,所以有序积分为 ;上方的有序区域则贡献 。再乘 就得边际公式。保留两个坐标时,剩余值分成低于 、介于 、高于 三个有序区域,积分分别给出三个幂及三个阶乘。因此这些常数是在计算有标号位置,而非事后猜测归一化因子。
也可以用计数作独立核对:事件 表示至少 个观测不超过 ,所以分布函数是相应的二项上尾和。在 的点求导,会得到相同边际密度。
均匀化及间距几何
证明
(均匀次序统计量及间距)
绝对连续时, 是独立同分布的 均匀变量,不需 严格递增。对 ,考虑集合 的右端点。由连续性及 的两端极限,此处分布函数值为 ;平坦区间不带概率。因此 。逐坐标变换保留独立性。故可在均匀概率尺度上研究排序,转回原尺度时,可能需要广义分位数而非普通反函数。
特别地, 有参数 的贝塔分布。使用贝塔积分及其递推关系可得
从 到首 个间距的映射是三角形线性映射,行列式为一。像集就是定理中的开单纯形,所以密度为常数。排列全部 个间距坐标,即使包括由其余坐标决定的最后一项,也会在首 个坐标上诱导雅可比绝对值为一的仿射变换。因此单纯形上的常数密度证明了可交换性。
由总和为一及可交换性,每个间距的平均相同。又 ,;其他间距也有相同尾概率。积分尾函数得到 ,从而有上述方差。所有非对角协方差都相同,展开固定总和的方差,得到 ,即证得协方差公式。
概念视角结构
均匀间距是归一化的指数间距
设 为具有同一速率的独立同分布指数变量,。则 与均匀间距 同分布。把坐标换成 及前 个比值,雅可比行列式为 ,密度就分解为 的伽马密度乘以单纯形上的常数 。因此均匀间距就是把独立的指数间距缩放到总和为一,而正是这个缩放使它们相互牵连。
指数间距为何真正独立
证明
(指数间距的分解)
对排序指数观测,写 ,故 ,。雅可比为一,排序联合密度成为
此时支撑集是直积,而且每个因子都是归一化的指数密度。这个分解证明独立性,而不只是零协方差。把平均间距相加,也得到 。
证明透视
两个间距证明在哪里分道
两个间距证明的第一步相同:转到间距坐标的三角形变换,雅可比为一,所以排序密度 可以直接搬到间距上,不需要修正因子。独立同分布及绝对连续的假设正是在这里使用:每个排序向量恰有 个有标号原像。
之后两个证明要回答两个问题,而单看乘积形式的式子并不能回答。其一是变换后的支撑集。均匀情形是单纯形 ,它把所有坐标绑在一起,所以不可能独立,只剩下可交换性;指数情形则是正象限 ,是一个直积。其二是密度本身。均匀密度是常数;指数情形的关键一步是恒等式 ,它把密度化成已归一化的单变量因子之积。独立性同时需要直积支撑集和这个分解。
均匀协方差最后只靠一个代数观察完成: 个间距的总和是常数一,所以其方差为零。无上界的指数观测没有固定右端点,因此没有最后一个间距,也没有这种约束。
例题
例题 8.1.4
(三角形的和密度来自区间交叠)
设 独立且均匀分布于 。对 ,积分范围是 。当 ,长度为 ;当 ,长度为 ;其余为零。因此 。密度形状来自交叠长度,并非因为两个均匀变量的和也应均匀。
例题 8.1.5
(均匀比值与乘积可有很大的密度)
对同一组独立样本,比值被积函数在 为 ,而且只有 才有贡献。因此当 ,;当 ,则为 。平均无穷,因为 发散。分子及分母有界,并不表示比值有界,因为分母可以任意接近零。
对 ,当 ,容许范围为 ,所以 。密度在零附近无界,但积分为一。独立性直接给出 ,与密度积分一致。
例题 8.1.6
(正态比值产生柯西(Cauchy)分布)
若 是独立标准正态,则比值公式给出
分布虽然对称,期望却不存在:正负两边的一阶矩积分均发散。不能因对称就报告平均零,也不能在未检查比值可积前,直接把条件平均再取平均。对称主值积分并不是期望。
例题 8.1.7
(极值及全距共同受约束)
对 个均匀观测,最小值 与最大值 在 有联合密度 。设全距 。反函数坐标 满足 ,,雅可比为一。积掉 得 。三个观测时,密度为 ,平均全距为 。若把最大最小值当成独立,就会忽略有序支撑集,得到错误的全距分布。
反例模式
边际相同不足以使用卷积
令 在 均匀分布,并设 。两者边际均匀,但 在 均匀分布,并非三角形密度。而 几乎必然成立,是点质量,不是以上比值密度。此耦合集中在对角线,没有二维密度。欠缺的是独立性,而非卷积公式中某个代数修正。
常见错误
常见错误
(可交换的间距并不独立)
次序统计量并不是把独立观测无害地重新改名。排序施加共同约束,间距也可能有固定总和。可交换性指交换坐标后分布不变,不表示独立。均匀间距的负协方差,反映固定总和带来的一个影响。
常见错误
(均匀间距不描述非均匀数据)
概率积分变换是在概率尺度上均匀化观测,并非把原测量尺度变均匀。因此,均匀间距公式不会自动描述指数或其他非均匀观测之间的实际距离。另行证明的指数间距分解,是一个不同结果。
常见错误
(忽略绝对连续性或独立性)
绝对连续性有实质作用。离散观测可能以正概率相等,因此排序向量不必有以上密度,也不一定有 个不同原像。相依连续观测在排列后的有标号密度,则可能并不相同。每项假设都在证明中负责一个具体步骤。
小结
卷积及比值公式来自带支撑集的联合变换及边际化。排序引入排列因子和有序积分区域。均匀化给出贝塔次序统计量;均匀间距具有单纯形上的常数密度和负协方差,指数间距却分解成速率改变的独立分布。这些分别由模型及区域决定,不能把分布公式互相替换。
习题
快速检查
(对两个独立 均匀变量,推导 的密度,并求 。)
解答 · 答案
差的积分中,被积函数在 及 同时成立时为一。 时交叠长度为 ,其余为零。故 。
快速检查
(两个独立指数变量的速率为二及三。推导和的密度、平均及方差,并解释密度在两速率相同的极限。)
解答 · 答案
对 ,卷积为 , 时密度为零。独立性给出平均 ,方差 。一般不同速率 给出 ;当 ,指数差商趋向 ,得到形状二的伽马密度 。
快速检查
(四个独立同分布观测在 均匀。求第二次序统计量的密度及平均,并以计数求 。)
解答 · 答案
公式给出 ,,平均为 。事件 表示四个观测中至多一个不超过 ,概率为 。
快速检查
(对四个均匀观测,由最小值与最大值的联合密度推导全距密度及期望。)
解答 · 答案
最小最大值的联合密度为 ,。设 ,在 积分得 ,。所以 。
快速检查
(四个均匀观测形成五个间距,包括两端空隙。求最大间距超过 的概率,以及两个不同间距的协方差。)
解答 · 答案
每个间距超过 的概率为 。两个间距不能同时超过 ,因为总和为一。因此五个事件互斥,所求概率为 ,完全不需独立假设。 时协方差为 。
快速检查
(三个独立同分布观测有速率二的指数分布。使用独立间距求最大值的平均及方差。)
解答 · 答案
三个独立间距的速率为 。最大值是它们的和,所以平均为 ,方差为 。可直接把方差相加,是因为已从完整变换密度证明了独立性。