动机
一个明亮像素可能来自高反射率表面、合适照明,或两者兼有。单幅图像通常无法分开这些原因。若相机固定、数个照明方向已知,对同一可见表面点的重复观测便可约束其法向量与漫反射系数。HDR 章节用照明讨论图像形成;本单元在刻意收窄的模型下处理反向问题。
已标定的漫反射模型
定义 8.1.1
(同一固定点的观测)
令 为未知单位表面法向量, 为未知漫反射系数。对于 幅图像,已知单位向量 从表面指向第 个光源。假设相机与表面不移动、所有观测对应同一点、该点在每幅图像中均受光且可见。若已校正已知光源强度与曝光,没有饱和或镜面反射项,且 ,线性强度模型为
误差 包含测量误差与模型误差。任何固定的 Lambertian 归一化因子都一致地吸收到已标定系数中;显示编码值不一定是线性强度。
正值假设表示对于所用观测,一般单面漫反射的截断并未启动。投射阴影或表面背向光源可能使线性方程失效;必须修改模型或排除这些观测。不能忽略未知的各光源增益。我们只处理单个标量通道;色彩、相互反射和空间变化的照明需要额外模型。
求解缩放后的法向量
令 ,令 的各行为 ,并写 。未知量 有三个分量:两个用于单位法向量的方向,一个用于 。
命题 8.1.2
(由三个光源精确恢复)
设 且 可逆,数据精确,即 ,其中 、。则 、、。若 ,则不能确定单位法向量。
证明
(求逆再归一化)
用 乘 得 。因为 是单位向量且 ,所以 ,并且 。当 时,归一化会除以零;而且每个单位向量 都满足 (),所以方程不能从中选出一个。
观测多于三个时,精确数据未必相容,这时用最小二乘拟合 。
定理 8.1.3
(更多观测与秩条件)
当 时,无加权最小二乘问题 当且仅当 的秩为三时有唯一最小解。此时解满足
若 ,可构造 和 。这些是估计,并非全部模型假设成立的证明。
证明
(正规方程与照明的零空间)
目标函数是凸函数,梯度为 ,所以最小解恰好是 的解。对任意向量 ,。若 的秩为三,则只有 时才有 ,所以 正定因而可逆,正规方程恰有一个解。若秩较小,则存在非零的 使 ;此时 ,每个最小解 都给出另一个最小解 ,唯一性不成立。
证明透视
照明必须张成三个方向
秩假设只在一处起作用:它把“非零 有 ”变成 可逆。数据 从不影响唯一性,只决定最小解落在哪里。 的零向量 是所有观测都看不见的方向,因为每个光源都与它垂直,把 加到 上不会改变任何预测强度。满秩保证有代数解,却不保证含噪声的数据符合正值或反射假设;那些是模型的假设,不是定理的结论。
秩条件有直接的几何含义,因为每个观测都是关于 的一条线性方程。
概念视角几何
观测是缩放法向量空间中的平面
当 时,第 个观测表示 位于平面 ,其法线方向为 。三个法线线性无关的平面恰好交于一点,就是 。若光源共面或重复,平面法线线性相关,于是数据相容时平面交成一条直线或整个平面,数据不相容时则可能没有公共点。相交时,公共点就是 ,其中 属于 的零空间。
三光源计算
例题 8.1.4
(非坐标轴方向的法向量)
取
以及精确观测
行矩阵的行列式为 ,故三行线性无关。解 得 ,因此 、。与三个光源的内积分别是 、 和 ,均为正;乘上 即得到三个观测。这些检查不可省略:矩阵可逆本身并不能确立单面照明假设。
例题 8.1.5
(三个光源在同一平面内)
取 、、,观测 。三个光源的 分量都是零,所以 的第二列全为零,即使有三个不同的光源, 的秩也只是二。 与 都能精确重现 。前者给出 、;后者给出 、,与 、、 的内积均为正,分别是 、 和 。数据看不见 方向,所以无法判断哪个正确。
例题 8.1.6
(含重复光源的最小二乘)
取四个光源 、、,观测 。则 、,得 :重复的光源贡献其两个观测的平均值 。最后两个观测的残差为 ,前两个为零。于是 、,与四个光源的内积均为正,依次是 。重复同一个光源可以平均掉噪声,但不增加新的方向。
反例模式
重复照明不能分开法向量与反射率
假设每个光源都是 ,每个观测均为 。、 符合数据;、 也符合。两个法向量都是单位向量,相关内积均为正,却指向不同方向。重复同一照明方向会增加观测数,但不增加独立的方向信息。
常见错误
(两个光源足够,因为法向量只有两个自由度)
单位法向量有两个自由度,但未知量 还包含反射率 ,所以有三个未知数。取 、、,则 与 都精确吻合,因为 与两个光源都垂直。它们给出不同的法向量 与 , 分别为 与 。两幅图像不能同时确定法向量与反射率。
限制与不确定性
若已标定的光源、对应关系或漫反射模型有误,较小的测量残差也不能保证法向量正确。即使满秩,近乎线性相关的行也可能使解对噪声敏感; 的最小奇异值可以量化一个受到弱约束的方向。可以检查残差和条件数,并排除过暗或受阴影影响的样本,但这本身并不证明结果无偏。若拟合得到的 接近零,其归一化方向会不稳定。对反射率或单面照明的约束需要明确的约束方法,不能假设无约束最小二乘解自动满足。
法向量只是局部方向,不是完整的深度图。把估计出的法向量场积分成曲面,还需要一致性条件、边界选择以及积分方法。
习题
快速检查
(对三光源例子,用 验证第一个及第三个观测强度。)
取 与 、 的内积。
解答 · 答案
,,与题述一致。
快速检查
(若三个已标定的照明行都是 ,其秩是多少?仅靠重复观测能否确定 的三个分量?)
的哪些分量出现在方程中?
解答 · 答案
行秩是一。这些观测只约束第三个分量,方程不能确定前两个分量。
快速检查
(若满秩精确解为 ,能否除以 求单位法向量?)
这里的 是多少?
解答 · 答案
不能。其范数为零,归一化没有定义;模型不能从这个缩放向量确定法向量。
快速检查
(为什么在投射阴影下拍摄的图像不应自动代入未截断的线性方程?)
比较模型假设的照明与阴影点实际受到的照明。
解答 · 答案
阴影下的点所受的直接照明可能少于模型所假设的量。此时未必能按所述的小误差解释使用 ;应排除该观测或扩展照明模型。
延伸学习
未知照明、非 Lambertian 反射、阴影、考虑噪声的估计以及法向量场的积分都需要进一步分析。本单元没有实现光度立体系统,也不保证任何特定重建曲面的准确度。