← 返回论文列表

扩散引导的可泛化城市场景重建增强器
Diffusion-guided Generalizable Enhancer for Urban Scene Reconstruction

作者: Henry Che, Jingkang Wang, Yun Chen 等6人
arXiv: 2605.22420v1
分类: cs.CV, cs.AI, cs.RO
📝 论文摘要
从真实观测中重建城市场景已成为自动驾驶开发和测试的强大工具。尽管当前的神经渲染方法能在记录轨迹上实现高保真渲染，但在大幅视角偏移下其质量显著下降，限制了闭环仿真的适用性。近期研究展示了利用扩散模型提升这些挑战性视角下的质量，并将改进结果蒸馏回三维表征中的潜力。然而，这些方法通常需要昂贵的逐场景优化，且蒸馏后的表征仍然脆弱，无法泛化到有限合成视角之外。为解决这些局限性，我们提出GenRe——一种用于城市场景重建的新型扩散引导通用增强器。GenRe以任意预训练的三维高斯表征为输入，在数分钟内修复其缺陷。通过学习跨多样场景的生成先验蒸馏，GenRe高效生成鲁棒且高保真的表征，可靠泛化到具有挑战性的未见视角（如车道变更）。实验表明，GenRe在质量和效率上均优于现有方法，并有益于多种下游任务，为自动驾驶实现鲁棒且可扩展的传感器仿真。

📊 核心分析

🎯 研究动机
- 城市场景重建在自动驾驶开发中至关重要，但现有神经渲染方法在大视角偏移时质量显著下降，限制了其在闭环仿真中的应用 - 现有扩散模型增强方法需要昂贵的逐场景优化，且蒸馏后的表示无法泛化到有限的合成视角之外 - 研究背景：从真实观测进行城市场景重建需要高保真度和对未见视角的鲁棒性，以支持可扩展的传感器仿真
🔧 核心方法
- 提出**GenRe**，一个**扩散引导的通用增强器(diffusion-guided generalizable enhancer)**，输入任何预训练的**3D高斯表示(3D Gaussian representation)** 并修复其缺陷 - 通过**跨场景学习(cross-scene learning)** 蒸馏**生成先验(generative priors)**，在数分钟内产生鲁棒且高保真的表示 - 输出增强后的3D高斯表示，能够可靠地泛化到具有挑战性的未见视角（如车道变更）
💡 核心创新
- **跨场景泛化**：首次实现无需逐场景优化的扩散引导增强，在多样场景上学习通用先验，避免了每场景独立训练的成本 - **高效优化**：只需几分钟即可修复预训练表示的缺陷，相比现有方法显著提升效率 - **鲁棒性**：生成的表示不仅对训练视角高保真，还能可靠泛化到大幅视角偏移，如车道变更等未见场景
🏆 总体贡献
- 为城市场景重建提供了一种高效且泛化性强的增强范式，解决了现有方法在视角偏移和泛化方面的瓶颈 - 在质量和效率上均超越现有方法（包括逐场景优化方法），实验验证了在多种下游任务中的有效性 - 支持鲁棒且可扩展的自动驾驶传感器仿真，推动闭环仿真和自动驾驶测试的发展