从观察到模拟：利用数字孪生实现高保真度生成式模拟，以促进通用机器人学习与评估

From Seeing to Simulating: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation

在现实环境中学习稳健的机器人策略需要多样化的数据增强，但由于需要获取物理资产和重新配置环境，扩展现实世界数据收集成本高昂。因此，将现实场景增强到仿真中已成为高效学习和评估的实用增强手段。我们提出了一种生成式框架，该框架建立了从现实世界全景图到高保真仿真场景的生成式真实到仿真映射，并通过语义和几何编辑进一步合成多样化的"数字孪生"场景。结合高质量的物理引擎和逼真的资产，生成的场景支持交互式操作任务。此外，我们还融入了多房间拼接技术，以构建一致的大规模环境，用于在复杂布局中进行长时程导航。实验结果表明，仿真到现实的强相关性验证了我们平台的高保真度，并表明大规模扩展数据生成能显著提高对未见场景和物体变化的泛化能力，证明了"数字孪生"在可泛化机器人学习和评估中的有效性。