← 返回论文列表

BifrostUMI:连接无机器人演示与人形全身操控
BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation

作者: Chenhao Yu, Hongwu Wang, Youhao Hu 等6人
arXiv: 2605.03452v1
分类: cs.RO
📝 论文摘要
高质量数据采集是训练人形全身视觉运动策略的根本基础。当前数据获取范式主要依赖机器人遥操作,但常受限于硬件可及性不足和操作效率低下。受通用操纵接口(UMI)启发,我们提出BifrostUMI——一种专为人形机器人设计的便携、高效且无需机器人的数据采集框架。该框架利用轻量级VR设备将人类示范捕获为稀疏关键点轨迹,并同步记录腕载视觉数据。这些多模态数据随后用于训练高级策略网络,该网络根据捕获的视觉特征预测未来关键点轨迹。通过稳健的关键点重定向流程,关键点轨迹被精确映射至机器人形态,并通过全身控制器执行。该方法使得多样化且敏捷的行为能够从自然人类示范无缝迁移至人形机器人载体。我们在两个不同的实验场景中展示了所提框架的有效性与通用性。

📊 核心分析

🎯 研究动机
- 人形机器人全身**视觉运动策略(visuomotor policies)** 训练依赖高质量数据,但当前数据采集主要采用**机器人遥操作(robot teleoperation)**,受限于硬件可访问性低和操作效率低 - 现有方法难以从**自然人类演示(natural human demonstrations)** 中高效获取适用于人形机器人的多样化行为数据 - 研究背景:随着人形机器人发展,亟需一种便携、高效、免机器人的数据收集框架来降低门槛并提升数据多样性
🔧 核心方法
- 使用**轻量级VR设备(lightweight VR devices)** 采集人类演示的**稀疏关键点轨迹(sparse keypoint trajectories)**,同时记录**腕部视觉数据(wrist-mounted visual data)** - 利用多模态数据训练一个**高层策略网络(high-level policy network)**,以视觉特征为条件预测未来关键点轨迹 - 通过**鲁棒的关键点重定向管道(robust keypoint retargeting pipeline)** 将预测的关键点轨迹精确映射到人形机器人的形态学上 - 采用**全身控制器(whole-body controller)** 执行重定向后的轨迹,实现从自然演示到人形机器人的无缝迁移
💡 核心创新
- **首创性**:提出**免机器人(robot-free)** 的数据收集框架BifrostUMI,完全摆脱对机器人硬件的依赖,仅需VR设备 - **效率提升**:相比传统遥操作,操作效率显著提高,支持快速采集多样化的全身行为 - **无缝迁移**:通过**关键点重定向(keypoint retargeting)** 技术,将人类演示的稀疏轨迹精确映射到人形机器人形态,无需额外的机器人专用演示数据
🏆 总体贡献
- 为**人形机器人全身操控(humanoid whole-body manipulation)** 领域提供了一种便携、高效的数据收集范式,大幅降低硬件门槛 - 在**两个不同实验场景(distinct experimental scenarios)** 中验证了框架的有效性和通用性 - 推动了从自然人类演示到人形机器人直接迁移的可行性,为后续研究提供了可复现的实践基础