动机
一块长方形告示板拍进照片后,通常变成一般四边形。直边仍然是直线,板上同样长的线段却未必在图像中同样长。要把照片校正,先要知道成像保留什么几何性质。透视投影提供一个清楚的模型,也解释为何相机换了位置后,同一项平面校正一般不能同时对齐近处树木与远处大楼。
计算成像把几个容易混淆的问题放在一起:一个图像位置应移到哪里?非整数位置应取什么连续强度?输出网格最后应记录哪些样本?第一项是几何,第二项是由离散样本重建连续信号,第三项是采样。第一项即使完全正确,仍未回答其余两项。准确估计的几何变换也可能产生锯齿或模糊纹理。
本节先建立理想针孔相机,再用齐次坐标表达平面映射。真实镜头还有畸变、有限孔径和校准误差;它们在应用上重要,但不应遮盖基本透视公式成立的原因。以下每个结论都附有适用条件,让我们知道模型在哪里有解释力,在哪里需要增加物理或几何数据。
定义
定义 1.1.1
(透视投影与相机矩阵)
以光心为原点,令虚拟像平面为 ,其中 。相机坐标中的场景点 在 时投影为
推导只需把光线 与像平面相交:。实体感光面在针孔后方,会得到倒像;采用前方虚拟像平面,能避免在每一步重复处理符号。像素坐标还包含焦距缩放、主点位置以及可能的斜切,齐次形式为
是世界点, 是旋转矩阵, 是以相机坐标表示的平移, 是可逆内部校准矩阵。 表示相差一个非零倍数,并非逐分量相等。若 ,齐次向量 对应有限位置 。
定义 1.1.2
(平面单应变换与齐次直线)
平面单应变换写成 ,其中 是可逆的 矩阵,整体非零倍数代表同一映射。只有当 的第三分量非零,才有有限输出坐标。非零向量 表示一条齐次直线,其点满足 。此表示包含无穷远点;它们用来整理方向,并不是有限感光面上的位置。
定义 1.1.3
(双线性重建)
数字图像是一个数组 。要查询非整数位置,需要另选重建规则。例如对 ,双线性插值把 的强度定为
这是四个已有样本的加权值,并不是新增的实际光线测量。边界处理与色彩表示也要交代。若要模拟光的物理平均,应使用线性光强,而不是任意非线性显示编码。
定理 / 命题
定理 1.1.4
(场景平面为何导出单应变换)
以 参数化一个平面,其中 是 矩阵, 是平面齐次坐标。两部相机矩阵为 。若 和 均可逆,则对应图像点满足
可逆条件排除了退化观看情况,例如场景平面包含相机光心。
定理 1.1.5
(单应变换保留直线与交比)
可逆单应变换把射影直线映至射影直线,且 。四个相异共线点若有有限仿射坐标 ,则在公式有定义的情况下,交比
保持不变。长度、角度和一般距离比通常不保留。
另一个重要特例是相机绕固定光心纯旋转。采用相容坐标,且没有平移时,相应光线满足 ,不受场景深度影响。真正需要的是“光心不移动”;手持相机看似只在转动,仍可能附带平移并产生视差。
证明思路
证明
(消去平面坐标)
对场景平面,第一部相机给出 。由可逆性得 ,代入第二部相机即得公式。这个做法消去平面坐标,无须逐点重建三维位置。若 奇异,相异平面点可能映至同一图像点,便无法由图像唯一反解平面坐标。
证明透视
同一矩阵成立的关键假设
两个可逆性假设都用到了,但起作用的时刻不同。 只用一次,用来解出 :它让第一幅图像可以解码回平面自己的坐标。不显然的一步,是让论证经过两部相机共用的 ,而不是经过三维点。 在推出关系时完全没有用上;它只在之后才重要,因为 可逆当且仅当 可逆,这时映射才是单应变换。论证之所以能收尾,是因为同样三个齐次坐标同时输入两部相机。
一般三维场景多出一个深度自由度:四个齐次坐标取代了平面的三个。第二个相机位置可以把这个多出的自由度显现为视差,而单个像平面单应变换无法对所有点消除它。
证明
(单应变换下的直线与交比)
直线性质则来自 :原来的条件变成 ,所以新直线是 。把射影映射限制在一条直线上,可写成 ,其中 。两点差为
把四个差代入交比,行列式及各分母因子全部相消。含无穷远点的情况可用极限或齐次行列式处理,不能直接在有限公式中除以零。
两组各四个对应点,在各自没有三点共线的一般位置下,可以决定单应变换。每组匹配提供两项独立齐次线性约束;矩阵九个元素扣除整体尺度,有八个自由度。但自由度数目本身不是证明:重复点或共线点会令约束相依。更多带噪声匹配可先经坐标归一化,再求代数最小二乘拟合,最后检查几何重投影误差。代数残差随坐标尺度改变,不等于像素距离。
例题详解
例题 1.1.6
(深度改变表观大小)
取焦距 像素。场景点 和 的横坐标分别是 和 。在固定深度四,世界长度一的水平线段占 像素;同样长度放在深度八,只占 像素。焦距没有改变,改变的是除数深度。若没有深度或额外几何条件,单凭像素位移不能推断世界位移。
例题 1.1.7
(校正一项简单射影变形)
令
映射为 。正方形顶点 变成 。逆矩阵只把左下元素改为 ,代回可恢复正方形。原直线 映至无穷远,因此不能在该处使用有限坐标公式。实际校正时,输出范围应避免跨越这类奇异边界。
反例模式
中点并不保持
有人或许会以为,单应会把线段的中点送到其像线段的中点。对上面的矩阵,从 到 的线段,中点是 ,它被映到 。而像线段由 到 ,中点是 。因为 ,这个说法不成立。能保持的是共线四点的交比,而不是普通的比值。
例题 1.1.8
(逆向变形与插值)
把原图平移 至输出。输出像素 需要查询来源位置 。在 上的双线性权重依次为 。若强度依次是 ,结果为 。若反过来把每个来源像素向前映射并四舍五入,可能有输出空洞,也可能多个来源挤进同一像素。逆向映射让每个有效输出位置都有来源查询,但来源范围以外仍须另定规则。
下面是另一个缩放例子,所用的源图像与上面的平移例子不同。源值分两行排列,依次为 。水平放大 倍、垂直放大 倍时,输出点 反向对应至 。双线性插值的权重依次为 ,结果是 。比较正向写入与反向查询,再试边界及碰撞情况。没有正向写入,并不等同于写入数值零。
这个输出像素从哪里来?
对同一组四个源值,比较舍入后的前向点放置与逆向采样。选一个输出像素,逐项查看真正使用的源样本,并分清未写入、碰撞、边界扩展与插值。
整数坐标是像素中心,横向 i 向右增加,纵向 j 向下增加。固定输出窗口为 qx、qy=0,…,4。T(x,y)=(sx x,sy y)。前向写入以 floor(t+1/2) 逐坐标舍入,碰撞时取所有写入值的算术平均。这些都是明确选择,不是 T 单独决定的。
| 源 j / 源 i | 0 | 1 |
|---|---|---|
| 0 | 0 | 10 |
| 1 | 20 | 30 |
T(x,y)=(4x,2y); 所选输出 q=(1,1); p=(0.250,0.500).
两个输出栅格
两个栅格均以粗框标示所选输出。数字是样本值,短条长度与值成正比。∅ 表示没有前向写入;真正写入的零会显示 0.000。小字 ×n 计算写入次数。虚线格框位于映射后源矩形以外,这些未写入格属于背景;内部空洞只计算另列的范围内数目。完整输出表列出所有数值。
所选输出 q: (1,1); 前向值: 没有写入; 逆向值: 12.500; 所选格的前向写入次数: 0. 完整输出像素表.
| 源坐标 | 源值 | 连续输出坐标 | 舍入后输出坐标 |
|---|---|---|---|
| (0,0) | 0 | (0,0) | (0,0) |
| (1,0) | 10 | (4,0) | (4,0) |
| (0,1) | 20 | (0,2) | (0,2) |
| (1,1) | 30 | (4,2) | (4,2) |
| 原始样本索引 | 原始索引超出已存储数组 | 实际源索引 | 权重 | 源值 | 加权贡献 |
|---|---|---|---|---|---|
| (0,0) | 否 | (0,0) | 0.375 | 0.000 | 0.000 |
| (1,0) | 否 | (1,0) | 0.125 | 10.000 | 1.250 |
| (0,1) | 否 | (0,1) | 0.375 | 20.000 | 7.500 |
| (1,1) | 否 | (1,1) | 0.125 | 30.000 | 3.750 |
完整输出像素表
| 输出坐标 | 位于映射后源范围内 | 前向写入次数 | 前向值 | 逆向值 |
|---|---|---|---|---|
| (0,0) | 是 | 1 | 0.000 | 0.000 |
| (1,0) | 是 | 0 | 没有写入 | 2.500 |
| (2,0) | 是 | 0 | 没有写入 | 5.000 |
| (3,0) | 是 | 0 | 没有写入 | 7.500 |
| (4,0) | 是 | 1 | 10.000 | 10.000 |
| (0,1) | 是 | 0 | 没有写入 | 10.000 |
| (1,1) | 是 | 0 | 没有写入 | 12.500 |
| (2,1) | 是 | 0 | 没有写入 | 15.000 |
| (3,1) | 是 | 0 | 没有写入 | 17.500 |
| (4,1) | 是 | 0 | 没有写入 | 20.000 |
| (0,2) | 是 | 1 | 20.000 | 20.000 |
| (1,2) | 是 | 0 | 没有写入 | 22.500 |
| (2,2) | 是 | 0 | 没有写入 | 25.000 |
| (3,2) | 是 | 0 | 没有写入 | 27.500 |
| (4,2) | 是 | 1 | 30.000 | 30.000 |
| (0,3) | 否 | 0 | 没有写入 | 10.000 |
| (1,3) | 否 | 0 | 没有写入 | 11.250 |
| (2,3) | 否 | 0 | 没有写入 | 12.500 |
| (3,3) | 否 | 0 | 没有写入 | 13.750 |
| (4,3) | 否 | 0 | 没有写入 | 15.000 |
| (0,4) | 否 | 0 | 没有写入 | 0.000 |
| (1,4) | 否 | 0 | 没有写入 | 0.000 |
| (2,4) | 否 | 0 | 没有写入 | 0.000 |
| (3,4) | 否 | 0 | 没有写入 | 0.000 |
| (4,4) | 否 | 0 | 没有写入 | 0.000 |
预设比例均为二的整数次幂,因此这些小型样本坐标、权重与总和可用二进制精确表示。数值显示至小数点后三位。短条表示数值,并非光度颜色模型。
- 逆向源点 p
- (0.250,0.500)
- 位于映射后源范围内
- 是
- 所选格的前向写入次数
- 0
- 前向值
- 没有写入
- 逆向值
- 12.500
- 所选逆向权重总和
- 1.000
- 整个窗口内没有前向写入的像素
- 21
- 映射范围内没有前向写入的像素
- 11
- 映射范围外的输出像素
- 10
- 接收多次前向写入的输出格
- 0
所选输出 q: (1,1). 前向值: 没有写入; 逆向值: 12.500. 所选输出没有前向写入;逆向值仍按所选插值与扩展规则定义。 逆向坐标位于已存储源矩形内。
几何决定坐标,重建规则决定数值
四个已存储样本位于 (0,0)、(1,0)、(0,1)、(1,1),值依次为 0、10、20、30。前向放置逐点变换与舍入,再用指定算术平均处理碰撞。两轴比例为 2 时,映射后 3×3 整数格只有四角有写入,其余五个范围内位置未写入。两轴比例为 1/4 时,四点全舍入到 (0,0),四次写入平均为 15。此碰撞值不是 (0,0) 的逆向采样;后者取源值 0。
逆向变换逐一处理输出中心 q,求 p=T⁻¹(q)=(qx/sx,qy/sy)。每个输出都有一次采样决定,包括映射源范围外的点。最近邻将源各坐标取 floor(p+1/2),半整数平局取较大索引。双线性取 i=floor(x)、j=floor(y)、u=x−i、v=y−j,权重为 (1−u)(1−v)、u(1−v)、(1−u)v、uv。先横向插值两行,再纵向插值结果,就得这四项。各项非负,总和为 ((1−u)+u)((1−v)+v)=1。
默认 sx=4、sy=2、q=(1,1) 时,逆向点为 (1/4,1/2),四权重为 3/8、1/8、3/8、1/8,因此值为 (3/8)0+(1/8)10+(3/8)20+(1/8)30=12.5,这是与前面平移不同的缩放例子。前向放置没有写入此格;最近邻却按半整数规则取 (0,1),得 20。如果 sx=sy=2、q=(1,0),沿顶行逆向线性插值得 5,是另一个一维缩放计算。
边界扩展先逐个处理整数样本,然后加权。零扩展将每个数组外样本设零,不会丢弃整个连续坐标,也不会将剩余权重重新归一化。夹边界将每个索引限制为 0 或 1,并保留原权重,即使多项对应到同一样本也一样。比例为 2、q=(3,1) 时,p=(1.5,0.5),双线性零扩展得 10,夹边界得 20;最近邻则分别得 0 或 30。恰在源边缘时,权重为零的数组外邻点没有贡献。所有实际样本均为同一常数时,插值保留该常数;零扩展却可能在边界附近改变非零常数。
逆向映射处理遍历顺序,不等于完整滤波。对序列 I[i]=(−1)^i,二取一如果只保留偶数索引,结果全为 1;只保留奇数索引则全为 −1,两者都没有保留交替图样。合适的低通预滤波必须考虑缩小后像素对应的源范围。双线性点重建,以及只对碰撞点取平均,都不会自行提供一般的抗混叠保证;本图没有声称这项保证。
即时检查:p 在 [0,1]² 外时,双线性零扩展能否得非零值?
可以。p=(1.5,0.5) 时,两项仍在已存储右边缘,贡献 (1/4)10+(1/4)30=10,其余两项为零。丢弃整个点是另一规则,将两个剩余权重重新归一化也是另一规则。
固定 2×2 标量图像、三个可逆对角比例及固定 5×5 输出窗口。插值与边界控制影响逆向栅格;前向基准保留已说明的舍入与平均策略。不实现旋转、透视变换、像素面积滤波、色彩空间转换或完整图像渲染器。
实现应分清三项工作:输出有效范围遮罩、逆几何映射及重建滤波器。 可逆只保证射影逆映射存在,并不保证每个查询点都在原照片的长方形内。矩阵可逆与图像有数据是两个条件。未覆盖区域应标为未知,直至另一幅图像或明确填补模型提供数据。
概念视角分析
变形同时改变采样足迹
逆映射的局部 Jacobian 描述一个输出像素对应来源中的多大邻域。若一个输出像素涵盖许多来源像素,只做一次双线性点查询,可能漏掉交替纹理。降采样前应对适当来源足迹先做平均滤波。插值负责样本之间如何延伸;抗混叠负责哪些变化可以安全留在较粗网格上。
例如 在整数位置的样本,与 无法区分。频率 与 给出相同整数样本。事后变形不能判断原本是哪个连续信号。解决方法是在采样前限制频宽:摄影时可用光学滤波,重新采样时可用配合缩小比例的数字滤波。
常见错误
反例模式
单应变换一般不能消除视差
第一部相机光线上的两点为 和 ,单位焦距下都映至 。第二部相机光心移至 而不旋转,两点相机坐标成为 和 ,分别投影到 和 。同一输入必须有两个不同输出,所以不存在同时满足两者的单值图像变形,更不存在单应变换。被遮挡点未必能同时看见,但此例准确隔离了深度歧义。
常见错误
(齐次第三坐标不是深度)
经过一般射影变换后, 的第三分量 只是所选表示的除数: 与 是同一个点。深度属于相机坐标下的场景点,不能从 读出。
常见错误
(用可能为零的元素来归一化)
令 是常见约定,但只在 时有效。三行依次为 的可逆矩阵有 :它把 送到 ,因此不能重新缩放成 。应改用另一个元素,或改为把 Frobenius 范数归一化。
常见错误
(只凭一小块吻合就判断模型正确)
错误的模型可以在小区域吻合,却在其他地方留下系统性误差。用同一面墙上的点拟合的单应变换,可以把这面墙叠得很准,而墙前的树这类不在墙上的物体却会因视差而漂移。应在整幅图像上检查叠合,特别是没有参与拟合的点。
多次重复重新采样会累积滤波。通常先合成几何映射,最后只采样一次,比不断变形已插值图像更能保留细节。但这不会免除抗混叠需求,也不会修正错误相机模型。几何、光度与采样错误应分别诊断,因为补救方法不同。
总结
透视投影把横向位置除以深度。齐次坐标把平面射影映射写成相差尺度的线性运算,并显露有限坐标失效的位置。平面场景与固定光心纯旋转,在上述理想条件下产生准确单应变换;任意三维场景的平移视角则没有此保证。实际图像变形还要选有效范围、插值及抗混叠,几何准确性不能补回已失去的采样信息。
练习
快速检查
(相机焦距 ,主点 ,方形像素且无斜切。投影相机点 。若只把深度加倍,新像素在哪里?究竟哪一项位移减半?)
解答 · 答案
像素为 。深度十时为 。相对主点的位移由 变成 ;绝对像素坐标不会减半,因为主点没有移动。
快速检查
(对例题的 ,映射直线 。求输出的有限笛卡儿(Cartesian)方程,并用两个映射点验证。)
解答 · 答案
来源直线向量为 ,乘 得 ,所以输出满足 。 和 映成 及 ,均满足方程。透视保留直线性,但改变斜率。
快速检查
(水平的来源行在位置 的样本为 。向右平移 ,用线性插值求输出位置二的值。为何输出位置零需要边界规则?)
解答 · 答案
输出二查询来源 ,对样本值二及四的权重是 和 ,结果 。输出零查询 ,超出来源范围。补零、镜像延伸或无效遮罩各有不同结果,并非平移矩阵本身能决定。
快速检查
(四个来源匹配点为 。说明即使匹配完全准确,也不能唯一决定二维单应变换。构造两个相异可逆矩阵,在来源直线 上完全一致。)
解答 · 答案
这些匹配只约束变换在一条射影直线上的限制。单位矩阵与 都固定每个 ,却在直线外作用不同。两者都可逆,也不相差整体倍数。即使同一条线上有无限多个准确匹配,另一方向仍未被确定。