为广视角选择曲面
透视照片在平面上记录光线。当光线趋近于平行成像平面的方向,图像坐标便无界增长,因此一张平面画布不易容纳很宽的视野。圆柱改以角度记录水平方向。全景图像仍由输入照片采样而成:圆柱只改变坐标,并不改变场景或相机运动。
定义 1.31.1
(全景坐标系中的像素射线)
假设理想针孔相机、镜头畸变已校正,以及静止场景。全景坐标系的 向右、 向下、 向前;相机坐标系采用相同手性。正交旋转矩阵 把相机坐标系中的方向转到全景坐标系。要精确地以旋转配准,所有输入相机共用光心,并以它作为全景原点。全景 轴是所选的圆柱或旋转轴,不一定与重力方向一致。像素坐标向右、向下递增;零斜切时令
代表光线方向,不代表物理深度为一的场景点。旋转方向不可混淆:全景方向要以 转回相机坐标系,不能再用一次 。每张输入照片应使用自己的 和内参。
从光线到圆柱
定义 1.31.2
(射线的圆柱坐标)
以垂直 轴为轴建立单位半径圆柱。当 ,光线 ()与 相交的唯一正参数是 ,故交点高度为 。由 朝 测量角度,得
选取分支 ,把 的输出模 化到此区间,包括把接缝处的 (含带符号零的结果)化为 。选取正比例 (分别以每弧度像素及每单位高度像素计),以及原点 。连续输出坐标为 、。这个映射一般不保持输入图像面积或立体角,样本密度随方向改变。实际全景可只覆盖坐标范围的一部分。
以反向映射采样
正向映射告诉我们输入光线到哪里;但把每个源像素的位置四舍五入到输出像素,可能留下空洞。反向做法是对每个输出像素中心 计算 和 ,必要时将角度模 化到所选分支,取全景方向的代表向量
若 ,将其投影回输入照片:
只有 落在有效图像范围,并包括插值法所需的邻域时才采样。若 ,光线平行成像平面;若 ,光线指向相机中心后方。两种情况均不能由这张向前的针孔图像采样; 时即使圆柱坐标有限,除法也未定义。可尝试另一张看见该方向的照片,否则保留为无数据。插值、降采样前滤波及曝光补偿分别处理采样或外观,不能保证几何模型正确。
概念视角分析
把变形看成采样密度的变化
取 并看 这一行。此时 ,所以 ,,即每弧度包含的输入像素数。取 时,变形在 处一一对应;但在 处,一个输出列覆盖 个输入像素,要减小该处的采样误差,就必须在降采样前先滤波。
定理 1.31.3
(在定义域上正反公式互逆)
对任何 的非垂直光线,圆柱构造给出 和 。故 是原光线的正倍数。反过来,任何有限 和角度 所构成的代表向量,其水平半径为一,圆柱高度为 ,角度与 相差 的整数倍。相机采样还需要相机坐标深度为正,且位置处于有效输入范围。
证明
(射线与圆柱坐标的往返)
取射线 ,。对任何尺度 ,向量 的水平半径为 ,所以 ,而 。同一条前向射线上的所有点有相同的圆柱坐标,因此圆柱坐标描述的是射线,并不带有深度。
由 的定义,、。于是 ,是 的正倍数。
反过来,设 有限、 为任意角,并令 。它的水平半径为 ,圆柱高度为 。它的角度 在模 下等于 ;化入所选分支后,得到 在该分支中的代表值。
证明透视
往返论证中各假设在哪里使用
每个假设只在一处使用。条件 在除以 时用到;它排除了垂直射线,因为这类射线没有 的值。正尺度使往返变成“同一条射线”: 是 的正倍数,而圆柱坐标分不出正倍数。负倍数 会给出 ,是另一组坐标,因为它是相反方向的射线。
角度只能在模 下恢复,所以定理比较的是模 的角度,分支另行选定。定理也没有涉及相机。正的相机坐标深度和有效的图像位置是采样的额外条件,即使圆柱坐标完全有限,这些条件也可能不成立。
数值往返
例题 1.31.4
(45 度光线)
取 、、,输入像素 。则 、、、。若 、 像素每弧度、 像素每单位高度,连续输出位置为 ,约 ,不一定恰好是像素中心。
反向时,,深度为正且等于 ;除以深度后得到 。这在离散插值之前验证几何。对任意输出像素,仍须检查重新投影的位置及插值所需邻域是否在图像边界内。
例题 1.31.5
(接受与拒绝输出像素)
设 、、,输入图像为 。取 、。四个输出位置的表现各不相同。
- 给出 、,所以 。于是 ,,在图像内。
- 给出 ,,在图像外:射线在相机前方,却超出视野。
- 给出 ,所以 ,。除法没有定义;这条射线与像平面平行。
- 给出 ,所以 。射线指向相机后方。
这幅输入图像只会采样第一个位置。其余三个位置除非另有图像看见,否则保持不支持。
例题 1.31.6
(分支切口两侧的两条射线)
取 和 ,。因为 ,得 、。两条射线只相差约 弧度,即约 个像素,但它们的原始输出列 却相差约 个像素。若程序把图像范围当成原始角度的区间,就会声称覆盖了 个像素。把 加到 上得 ,范围便是 ,这才正确。同样的展开也告诉混合程序: 的两列是相邻的。
接缝、垂直方向与视差
和 表示同一光线。对完整一圈的全景作滤波或融合时,水平两端应视为相邻,否则分支的选择可能造成假接缝。半开区间只记录该方向一次。照片可能横跨分支切口,因此计算覆盖范围前须一致地展开角度。此坐标接缝不同于照片合成时选择的接缝。
当 ,光线垂直, 未定义。接近垂直方向时 无界,因此有限圆柱画布不包括两极。裁剪圆柱是选定有限垂直视野,并非补上极点。球面坐标可用纬度 代替 ,把极点压到有限的极限纬度。由于 向下,正 和正 均指向水平线下方;极点的经度仍未定义,须特别处理。
反例模式
改变坐标无法消除视差
取两台相同相机,、归一化焦距为一,第二相机向右平移一单位。点 分别投影为 和 。取两个独立点 和 。相机 1 的方向分别是 和 ,夹角的余弦为 ;相机 2 的方向是 和 ,夹角的余弦为 。旋转保持夹角,故不存在把两条第一相机光线同时映到第二相机对应光线的单一旋转。两点位于不同源光线,不一定互相遮挡。它们的水平位移分别为 和 ;单靠位移不等不能证明此结论,因为旋转也可产生随位置变化的位移。圆柱提供方便的广角画布,却不能令单一旋转对齐这个平移、多深度场景。接缝或融合可以掩盖部分错位,却不能恢复缺失的深度几何。
常见错误
常见错误
(该用 却用了 )
矩阵 把相机方向转到全景坐标系。反向映射从全景射线出发,必须用 回到相机坐标系。再用一次 等于同方向转两次;只有 是恒等或半圈旋转时才有 ,所以采样位置会错。
常见错误
(除以 之前没有检查符号)
设 、,代表射线为 。公式 会给出主点 ,好像相机正对这个方向,但 ,射线其实在相机后方。除之前要先检查 ,并把 当作不可采样。
练习与解答
快速检查
(若 把相机光线转到全景坐标系,哪个矩阵可转回?为什么?)
解答 · 答案
,因为旋转满足 。连用两次 通常会继续旋转,而非还原。
快速检查
(设 ,考虑 ;相机能采样吗?)
解答 · 答案
代表向量为 (浮点运算的 可有微小误差),深度为负,因此不能采样,尽管圆柱坐标有限。未包含的端点 代表相同光线。
快速检查
(若 ,求球面纬度并判断是否垂直。)
解答 · 答案
,而 时 ,故 ,即水平线下方 。代表向量水平半径为一,并非垂直;只有 的极限才趋近两极。
快速检查
(为何把整数输入像素正向散布可能留空?反向映射有何改变?)
解答 · 答案
多个像素可能四舍五入到同一输出像素,其他像素则无来源。反向映射逐一访问所选输出像素,向每张可见输入照片查询连续采样位置;但没有相机看见该光线时不能凭空产生数据,插值仍需要有效邻点。