- 人形机器人全身**视觉运动策略(visuomotor policies)** 训练依赖高质量数据,但当前数据采集主要采用**机器人遥操作(robot teleoperation)**,受限于硬件可访问性低和操作效率低
- 现有方法难以从**自然人类演示(natural human demonstrations)** 中高效获取适用于人形机器人的多样化行为数据
- 研究背景:随着人形机器人发展,亟需一种便携、高效、免机器人的数据收集框架来降低门槛并提升数据多样性
- 使用**轻量级VR设备(lightweight VR devices)** 采集人类演示的**稀疏关键点轨迹(sparse keypoint trajectories)**,同时记录**腕部视觉数据(wrist-mounted visual data)**
- 利用多模态数据训练一个**高层策略网络(high-level policy network)**,以视觉特征为条件预测未来关键点轨迹
- 通过**鲁棒的关键点重定向管道(robust keypoint retargeting pipeline)** 将预测的关键点轨迹精确映射到人形机器人的形态学上
- 采用**全身控制器(whole-body controller)** 执行重定向后的轨迹,实现从自然演示到人形机器人的无缝迁移
- **首创性**:提出**免机器人(robot-free)** 的数据收集框架BifrostUMI,完全摆脱对机器人硬件的依赖,仅需VR设备
- **效率提升**:相比传统遥操作,操作效率显著提高,支持快速采集多样化的全身行为
- **无缝迁移**:通过**关键点重定向(keypoint retargeting)** 技术,将人类演示的稀疏轨迹精确映射到人形机器人形态,无需额外的机器人专用演示数据
- 为**人形机器人全身操控(humanoid whole-body manipulation)** 领域提供了一种便携、高效的数据收集范式,大幅降低硬件门槛
- 在**两个不同实验场景(distinct experimental scenarios)** 中验证了框架的有效性和通用性
- 推动了从自然人类演示到人形机器人直接迁移的可行性,为后续研究提供了可复现的实践基础