照片把三维场景变成二维数组,因此必然失去一些信息。针孔模型可以精确指出失去的是什么:同一条相机射线上的点,具有相同的图像位置。改变观察位置,则可能把这些点分开,产生与深度有关的移动,称为视差。
不过,整个平面的图像运动仍然可以由一个矩阵描述。这是不少几何图像变换与拼接方法的基础。本节推导这个矩阵,仔细跟踪决定正负号的坐标约定,并找出矩阵可逆的几何条件。矩阵关系正确,仍不等于点位于相机前方,或没有被其他表面遮挡。
投影到虚拟像平面
使用相机坐标 Xc=(Xc,Yc,Zc)T,相机中心在原点,观看方向沿正 Zc。理想模型中,光沿连接中心与场景点的直线传播。若 Zc=0,这条线与虚拟平面 Zc=1 的交点是 (Xc/Zc,Yc/Zc,1)T。
虚拟平面放在中心前方,所以公式没有倒像的负号。实际传感器可以放在针孔后方,但其方向与坐标约定必须一致处理,不能在计算途中悄悄改变符号。
以非零齐次向量 p=(u,v,1)T 表示有限像素 (u,v)。两个非零向量若相差一个非零标量倍数,就表示同一个投影图像点,记为 p∼q。向量 (r,s,w)T 只有在 w=0 时,才对应有限像素 (r/w,s/w)。零向量永远不代表投影点。
对理想且已标定的针孔相机,设
K=fx00sfy0cxcy1,fx,fy>0.fx,fy 把归一化图像坐标换成像素单位,(cx,cy) 是主点,而 s 是斜切参数。投影公式为
p∼KXc,u=fxZcXc+sZcYc+cx,v=fyZcYc+cy.
相机矩阵并不是用来宣告所有投影点都实际可见的规则。在此向前观看的约定下,须有正深度 Zc>0。负深度点仍有代数上的投影坐标,但它们在相机后方。Zc=0 的点在这个坐标图中没有有限像素;若点就是相机中心,齐次结果为零,投影没有定义。镜头畸变及有限图像边界也不包含在这个理想模型内。
分清相机中心与平移列
设世界点为 X,用以下映射把世界坐标换成相机坐标:
Xc=RX+t,RTR=I,detR=1.
R 是正旋转,而 t 是这个世界到相机映射的平移。相机中心 C 是被映到相机原点的世界点。解 RC+t=0 得到
C=−RTt,t=−RC,p∼K[Rt](X1).
最后一式把三维仿射映射与齐次投影合并。这个 3×4 相机矩阵有非平凡零空间,并不是四维与三维坐标之间的可逆变换。
例题 14.1.2
(相机向右移,图像中的点可以向左移)
设 R=I,相机中心 C=(1,0,0)T。它的平移列是 t=(−1,0,0)T,不是 C。固定世界点 (2,1,4)T 的相机坐标因此是 (1,1,4)T。
若 fx=fy=2、斜切为零、主点是 (1,1),它的像素位置是 (3/2,3/2)。另一台具有相同方向及内参、但位于世界原点的相机,会把它拍在 (2,3/2)。相机向右移一个世界单位,这个点却向左移了半个像素。把 t 误当成 C,就会预测相反的移动。
从像素反推射线,而非唯一三维点
因为 K 可逆,有限像素决定了 q=K−1p。当 p=(u,v,1)T 时,q 的最后一个坐标是 1。对应的世界点为
X=C+λRTq,λ>0.
确实,RX+t=λq,再乘 K 就得到代表同一个像素的 λp。反过来说,任何具有正相机深度、并投影到这个像素的世界点,都有此形式。参数 λ 是相机坐标深度 Zc,一般不是离中心的欧氏(Euclidean)距离,因为 q 未必是单位向量。
没有额外信息时,所有正的 λ 都可能成立。因此,内参逆矩阵只能找回方向,不能找回丢失的深度。已知表面、第二幅视图或其他几何约束可能提供深度,但单个像素本身不会。
用已知平面消去深度
现在把相机 1 的坐标作为参考坐标 X。相机 1 使用 K1,相机 2 则使用
X2=RX+t,p1∼K1X,p2∼K2X2.
假设场景点都在已知平面 nTX=d,其中 n=0、d=0。法向量不必是单位向量;把 n、d 同时乘以同一个非零常数,不改变平面。d=0 排除了通过相机 1 中心的平面,因为那样的平面本身会投影成一条线,不能填满二维图像区域。
对 p1=(u1,v1,1)T,令 q=K1−1p1,射线上的点写成 X=λq。平面方程给出 λnTq=d。若 nTq=0,射线与平面没有有限交点;否则交点深度为 λ=d/(nTq)。物理上使用时,还须确认这个深度与相机 2 中的深度都为正。
对上述有效平面对应点,
p2∼Hp1,H=K2(R+dtnT)K1−1.这个矩阵可逆,当且仅当以参考坐标表示的第二相机中心 C2=−RTt 不在平面上,即 nTC2=d。这种可逆矩阵在相差一个非零整体倍数的意义下,表示平面投影变换,也称单应性。
利用 λnTq=d,可写成
X2=λRq+t=λ(R+dtnT)q.乘以 K2,再消去共同的非零尺度 λ,就得到图像关系。正号来自本节的平面约定 nTX=d。若改写成 nTX+d0=0,则 d=−d0,相应公式中 tnT/d0 前面就是负号。
内参矩阵可逆,所以 H 可逆当且仅当 M=R+tnT/d 可逆。寻找满足 My=0 的零空间向量 y;左乘 RT 得到
y=C2dnTy.若 y=0,标量 α=nTy/d 必不为零,而且 y=αC2。再乘 nT 得到 αd=αnTC2,所以 nTC2=d。反过来,若 nTC2=d,则 MC2=RC2+t=0。因为 d=0,C2 不可能为零,因此确实找到一个非零零空间向量。所以,H 奇异当且仅当第二相机中心位于平面上。
在这个退化情况,平面上的每个点都满足
(Rn)TX2=nTX+nTRTt=d−nTC2=0.因此,非零图像向量都落在系数向量为 K2−TRn 的投影图像直线上:平面是侧向、沿边被观察的。特别是,同一条通过第二相机中心的直线上的点,可以压到第二幅图像的同一位置。中心本身没有图像;非零齐次输入 K1C2 会被 H 映成零。
证明透视
可逆性论证是怎样搭成的
论证靠三个事实,各只用一次。K1,K2 可逆,把问题化为单个 3×3 矩阵 M=R+tnT/d。正交性 RTR=I 使我们能把 My=0 左乘 RT,从而出现中心 C2=−RTt。条件 d=0 允许除以 d,也保证当 nTC2=d 时 C2=0,所以反向找到的零空间向量确实非零。
不显然的一步,是看出 tnT/d 的秩为一,像空间由 t 张成。因此 M 的任何零空间向量必是 RTt 的倍数,即 C2 的倍数。在三维空间里的搜索,化为检验一个候选方向,并由单个标量方程 nTC2=d 判定。论证以明确计算 MC2=RC2+t=0 收尾。若 d=0,平面经过相机 1 的中心,tnT/d 甚至没有定义,所以定理之前已排除这种情形。
这个可逆判断纯粹是代数条件,不保证正深度、位于有限图像边界内,或没有遮挡。即使单应性可逆,仍可能把某些投影点映到无穷远。有效物理对应点仍须另外满足前述条件。
概念视角结构
单应性是旋转映射加一个秩一项
展开乘积,得
H=K2RK1−1+d(K2t)(K1−Tn)T.第一项就是后面“纯旋转”一节中与深度无关的映射;第二项的秩为一,承载了全部对平移与平面的依赖。当 t=0 时它消失;当平面远去(n 固定而 d→∞)时,它也趋于零。
算出一个平面映射,再改变深度
例题 14.1.4
(同一平面在图像中平移,另一深度却不跟随)
两台相机使用相同内参:
K1=K2=200020111,R=I,t=−100.对平面 Z=4,取 n=(0,0,1)T、d=4。公式给出
H=100010−1/201.所以这个平面的每个有效点都向左移半个像素。P=(2,1,4)T 的第一幅图像坐标为 p1=(2,3/2,1)T;单应性给出 p2=(3/2,3/2,1)T,与直接相机投影一致。
现在改用 Q=(1,1/2,2)T。它与 P 在同一条相机 1 射线上,所以 p1 相同。但直接在相机 2 投影得到 (1,3/2,1)T,而非 (3/2,3/2,1)T。Z=4 的单应性无法同时描述这个深度为 2 的点。这里可以把两点视为两种可能的场景点来比较;若同一场景中两个不透明表面真的在同一条射线上,还须由可见性决定相机 1 实际看到哪个。
反例模式
同一个源像素,不能在一个单应性下有两个输出
上例说明,当未知深度改变时,同一个源像素可以有两个不同的目标位置。任何单值图像映射,包括单应性,都只能为这个源位置指定一个结果。因此,该平面的映射不能描述这个平移下的任意三维深度。
更一般地,在上面平行相机的设置中,正深度 Z 的点会水平移动 −fx/Z。不同深度导致不同位移。这是视差,不是换一个更准确的重采样插值核就能消除的误差。
纯旋转是重要的深度无关例外
如果两个相机中心重合,相对平移就是 t=0。此时 X2=RX,而且
p2∼K2RK1−1p1.
公式没有平面参数,也没有深度。只要点在两个视图中都有有效投影,任何深度都成立。由于 K1,K2,R 都可逆,此矩阵也可逆。这解释了为什么理想情况下绕相机中心旋转拍摄的全景,可以使用一个投影映射,而不要求场景平坦。
例题 14.1.5
(纯旋转:有限、在相机后方、在无穷远)
取 K1=K2=I、t=0,并绕竖直轴转四分之一圈:
R=00−1010100,H=K2RK1−1=R,所以 RTR=I、detR=1。三个源像素的表现各不相同。
- p1=(−1,0,1)T 给出 Hp1=(1,0,1)T,目标像素为 (1,0)。每个场景点 λ(−1,0,1)T(λ>0)经 R 变成 λ(1,0,1)T,深度 λ>0,像素不变,没有视差。
- p1=(1,0,1)T 给出 Hp1=(1,0,−1)T∼(−1,0,1)T,目标像素为 (−1,0)。但 Rλ(1,0,1)T=λ(1,0,−1)T 在相机 2 中的深度是 −λ<0。代数给出了有限像素,这些点却在相机 2 后方,不是物理上的对应。
- p1=(0,0,1)T 给出 Hp1=(1,0,0)T。第三个坐标为零,没有有限的目标像素:这条射线与相机 2 的像平面平行。
三种情形下矩阵都可逆;可逆性并不能说明会出现哪一种表现。
如果实际移动同时平移了相机中心,深度依赖就会重现。对主要墙面或足够远的场景,平面模型仍可能有用,但那是场景假设或近似,不能与精确的纯旋转结果混为一谈。
分开几何映射与图像采样
给定像素 p1,先算 r=Hp1。只有 r=0 才代表有效投影结果;只有 r3=0 才是有限目标像素,须用它除前两个坐标。单应性一般不是仿射映射,因为分母可能随源位置改变。
做反向图像重采样时,若 H 可逆,可以先用 H−1 把目标位置映回源位置,再插值。但这仍未决定源位置是否在图像内、平面交点是否有正深度,以及有没有其他表面遮挡。几何提供坐标,边界规则、可见性及图像重建模型则补足完整渲染或拼接方法的其他部分。
常见错误
公式 H=K2(R+tnT/d)K1−1 对应写成 nTX=d 的平面。若把平面 Z=4 写成 nTX+d0=0,n=(0,0,1)T,则 d0=−4;继续使用 +tnT/d0 会得到元素为 +1/2 而不是 −1/2 的矩阵。于是上例会预测 P 向右移,与直接投影的结果相反。应先换成 d=−d0,或把 tnT/d0 前面的符号反过来。
常见错误
(该用 H−1 的地方用了 H)
用反向重采样做图像变形时,每个目标像素要问该读取哪个源位置。上例中 H 把源像素向左移 1/2,所以目标像素 (3/2,3/2) 须读取源图的 (2,3/2),也就是对它施以 H−1。若再用一次 H,会读到源图的 (1,3/2),方向反了。
练习与解答
快速检查
(设 K=diag(2,2,1)、R=I,相机中心 C=(1,0,0)。对像素 (1,0),求世界射线及它与 Z=4 的交点,并指出平移列与射线参数的意义。)
解答
世界到相机的平移为 t=−C=(−1,0,0)T。标定方向是 q=(1/2,0,1)T,世界射线为 (1+λ/2,0,λ)T,其中 λ>0。当 Z=4,有 λ=4,交点是 (3,0,4)T。参数是相机深度,不是欧氏距离;从中心到交点的向量长度为 20。
快速检查
(设 K1=K2=R=I、t=(0,0,1),平面为 X+Z=4。求 H 及源像素 (u,v) 对应的归一化目标像素。哪些源像素会在正深度与此平面相交?)
解答
此时 n=(1,0,1)T、d=4,H 第三行是 (1/4,0,5/4),前两行是 (1,0,0)、(0,1,0)。作用在 (u,v,1)T 后,若 u+5=0,目标坐标为 (4u/(u+5),4v/(u+5))。
参考射线的平面交点深度为 λ=4/(u+1),正值条件恰为 u>−1。在这个物理范围,相机 2 深度 λ+1>0,上面的分母不可能为零。在范围以外,单靠投影公式不能确立物理可见性。分母依位置而变,也说明这一般不是仿射平移。
快速检查
(归一化相机满足 K1=K2=R=I,平面为 X=1,t=(−1,0,0)。求 H、判断可逆性,并计算 P=(1,2,2)、Q=(1,4,4) 的两组图像对应。)
解答
n=(1,0,0)T、d=1,所以 H=diag(0,1,1)。第二相机中心 (1,0,0)T 位于平面,因此矩阵奇异。
相机 1 中,P 位于 (1/2,1),Q 位于 (1/4,1);相机 2 中,两者都是 (0,1)。因为减去第二中心后得到 (0,2,2)T、(0,4,4)T,两向量成比例。平面压成图像直线 u2=0,不能由共同的目标像素找回两个不同的源像素。
快速检查
(有程序用原像素的第三坐标 1,来除 Hp 的前两项,并在相机平移时用同一个平面单应性处理前景与背景。指出两个独立错误,并说明何时一个深度无关矩阵是精确的。)
解答
齐次归一化必须除以结果的第三项 (Hp)3,它不一定是 1。略去这一步,就是把投影映射误当成仿射映射。
平面单应性也依赖平面的深度与方向,一般不能同时描述平移相机下任意前景与背景。更准确的插值不能修补这种几何不匹配。若相机中心重合,t=0,则对两幅图像中都有有效投影的点,K2RK1−1 是精确而深度无关的矩阵;实际平面场景则是本节证明的另一种情况,仍须满足所列的非退化条件。