该论文旨在解决从单张全景图快速生成高保真、低成本3D场景的问题,以满足机器人操作仿真的需求。研究背景是现有方法在生成沉浸式场景时存在速度慢、成本高或几何一致性差的问题,而机器人仿真平台需要能够快速生成可扩展的逼真背景。
论文提出了一种前馈式高斯溅射(Gaussian-splatting)流水线。具体方法包括:
- 将输入的全景图分解为六个不重叠的立方体贴图(cube-map)面并行处理
- 设计深度感知融合(depth-aware fusion)策略
- 引入免训练深度注入(training-free depth-injection)模块,引导单目前馈网络生成一致的3D高斯(Gaussians)
- 最后将处理结果无缝重组为完整3D场景
论文的核心创新点包括:
- 首次将立方体贴图分解与高斯溅射结合,实现全景图的并行高效处理
- 提出深度感知融合策略和免训练深度注入模块,在保持前馈网络快速性的同时确保多视角几何一致性(geometric consistency)
- 整个系统能在数秒内完成场景重建,速度显著优于现有方法
- 将生成的3D场景集成到LLM驱动的仿真平台,为具身合成数据生成提供可扩展背景
论文对该领域的整体贡献包括:
- 提出Genie Sim PanoRecon系统,实现了从单张全景图到高质量3D场景的快速转换
- 通过创新的深度引导机制解决了单目3D重建中的几何一致性问题
- 为机器人操作仿真提供了高效、可扩展的场景生成方案
- 将成果集成到Genie Sim平台,推动了具身智能(embodied AI)中合成数据生成和评估的发展