- 扩展数据量和多样性对于泛化**具身智能(embodied intelligence)** 至关重要,但真实物理数据采集成本高昂
- 合成数据生成提供了可扩展的替代方案,但**仿真到现实(sim-to-real)** 的域差距(domain gap)是巨大挑战
- 现有方法在视觉保真度、数据覆盖和域不变表示方面存在不足,导致策略部署鲁棒性差
- 提出**HyperSim整体框架**,包含三个核心支柱:**高保真环境合成(high-fidelity environment synthesis)**、**对抗轨迹生成(adversarial trajectory generation)**、**模拟与真实共同训练(sim-and-real co-training)**
- 高保真环境合成增强视觉逼真度以缩小视觉域差距
- 对抗轨迹生成通过生成困难样本扩大数据覆盖,提升策略对动态不确定性的鲁棒性
- 模拟与真实共同训练强制学习**域不变表示(domain-invariant representations)**,增强跨域泛化能力
- **首创整体性(holistic)** 框架:首次将视觉合成、数据增强和协同训练三个维度统一在一个框架中,系统地桥接sim-to-real差距
- **对抗轨迹生成**:通过生成对抗性训练数据,使策略对物理扰动(如不确定动态)的鲁棒性提升35%
- **大规模真实世界验证**:在400次真实任务执行上评估两个代表性模型(ACT和π₀),实现80%和95%的sim-to-real成功率,体现方法的有效性
- 为**机器人操作(robotic manipulation)** 领域提供了一种可复用的端到端sim-to-real框架,涵盖数据生成、训练和部署全流程
- 通过大规模实证研究(400次真实实验)证明了该方法在多个细粒度指标上的优异性能
- 提升策略在动态环境中的鲁棒性(35%完成率提升),推动了**鲁棒操作(robust manipulation)** 的实际应用