面向视觉逼真仿真：评估仿真中机器人操作能力的基准

Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation

对机器人操作策略的可靠仿真评估可作为真实世界性能的高保真代理。现有基准虽涵盖广泛任务类别，但缺乏视觉真实感，导致仿真与现实之间存在巨大领域差距，削弱了基于仿真的评估对真实世界性能的预测可靠性。为缩小仿真到现实的视觉差距，我们通过系统分析隔离光照和材质的影响，结果表明这些因素在几何推理与空间定位中起关键作用，却在现有基准中常被忽视。基于该分析，我们提出VISER——一个用于仿真环境下评估机器人操作的视觉真实基准。VISER包含超过1000个具有基于物理渲染材质的高保真三维资产数据集，并通过精心设计的布局或生成方式基于这些资产构建三维场景。为此，我们提出利用多模态大语言模型的自动化流程，实现材质感知的部件分割与材质检索，从而支持可扩展的物理合理资产生成。基于高保真三维资产数据集，我们构建了包含抓取、放置及长时域任务等多种评估任务，支持对视觉-语言-动作模型的可扩展可重复评估。本基准在仿真与真实世界性能间展现出强相关性，不同策略的平均皮尔逊相关系数达0.92。