单目法线估计旨在从单一RGB图像中,在任意光照条件下估计出物体的法线贴图。现有方法通常依赖深度模型直接预测法线贴图,但普遍存在三维几何对齐不佳的问题:预测的法线贴图外观可能正确,但重建的表面几何细节往往无法对齐。研究认为,这一问题的根源在于当前范式难以区分和重建法线贴图中表示的、仅通过相对微妙的颜色变化来反映的几何差异。为解决此问题,本文提出了一种新范式,将法线估计重新定义为对光照序列的估计,因为光照序列对各种几何信息更为敏感。基于此范式,研究团队提出了RoSE方法。该方法利用图像到视频生成模型来预测物体在不同光照下的序列图像(即光照序列)。随后,通过求解一个简单的普通最小二乘问题,将预测的光照序列转换为最终的法线贴图。为了增强方法的鲁棒性并更好地处理复杂物体,RoSE在一个包含多样形状、材质和光照条件的合成数据集MultiShade上进行训练。实验表明,在面向物体的单目法线估计真实世界基准数据集上,RoSE方法取得了先进的性能表现。该工作已被学术会议接收并进行口头报告。


