IVGT: 用于神经场景表示的隐式视觉几何变换器

IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation

从无标定多视角图像重建连贯的三维几何与外观是计算机视觉中一个基础但具有挑战性的问题。现有的大多数视觉几何基础模型通过回归像素对齐的点图来预测显式几何，通常存在冗余性和几何连续性不足的问题。我们提出IVGT——一种隐式视觉几何变换器，能够从无位姿的多视角图像中隐式建模连续且连贯的几何。该公式在一个规范坐标系中学习连续的神经场景表示，并支持在任意三维位置上进行连续空间查询，通过轻量级解码器检索局部特征以预测符号距离值（SDF）和颜色。它允许直接提取连续且连贯的表面几何，从而能够从任意视角渲染RGB图像、深度图和表面法向图。我们通过多数据集联合优化，结合二维监督和三维几何正则化来训练IVGT。IVGT展示了跨场景的泛化能力，并在包括网格和点云重建、新视角合成、深度与表面法向估计以及相机位姿估计等多项任务上取得了强劲性能。