该论文旨在解决从稀疏固定相机视角重建物体3D几何与外观(appearance)的根本性限制。研究背景是:传统多视角重建(multi-view reconstruction)方法受限于有限的相机视点,难以获得完整、高质量的几何与外观信息。
论文提出了一种联合优化框架:
- 利用物体在静态相机前的机会性运动(opportunistic motion)(如人移动椅子),将其视为物体在局部坐标系中的“虚拟轨道”,从而获得额外视角。
- 采用交替最小化(alternating minimization)策略,联合优化物体的6自由度(6DoF)运动轨迹和基于2D高斯泼溅(2D Gaussian splatting)的几何基元(primitive)参数。
- 提出一种新颖的外观模型,在球谐函数(spherical harmonics)空间内,通过反射方向探针(reflected directional probing)将漫反射(diffuse)和镜面反射(specular)成分进行因子分解(factorization)。
论文的核心创新点在于:
- **利用机会性运动作为新视角来源**:首次系统性地将日常场景中物体的被动运动(被人操纵)转化为重建所需的额外虚拟视点,突破了固定相机视角稀疏的根本限制。
- **运动、几何与外观的联合解耦建模**:通过交替最小化框架,将紧密耦合的物体姿态(pose)估计与几何(geometry)估计问题解耦并联合优化。
- **分解式外观建模**:提出的外观模型能有效分离移动物体在静态光照下的漫反射和镜面反射成分,解决了运动物体外观复杂变化的挑战,这在稀疏视角下尤为关键。
论文对该领域的总体贡献是:
- 提出并验证了“利用机会性运动突破稀疏视角重建极限”的新范式,为在受限相机设置下获取高质量重建结果开辟了新途径。
- 开发了一个完整的、端到端的联合优化框架,能够从极稀疏的固定视角视频中,同时恢复出更精确的物体几何和更真实的外观。
- 在合成与真实世界数据集上的实验表明,该方法在几何精度和外观质量上均显著优于现有先进方法(state-of-the-art baselines)。