← 返回论文列表

机器人从人类视频中学习：综述
Robot Learning from Human Videos: A Survey

作者: Junyi Ma, Erhang Zhang, Haoran Yang 等7人
arXiv: 2604.27621v1
分类: cs.RO, cs.CV
📝 论文摘要
制约具身智能与机器人领域进一步发展的关键瓶颈在于机器人数据扩展的挑战。为解决此问题，近年来，受人类活动视频数据丰富性及计算机视觉进展的驱动，从人类视频数据学习机器人操作技能的研究领域吸引了越来越多的关注。这一研究方向有望使机器人能够从海量且易于获取的人类演示资源中被动获取技能，从而显著促进通用机器人系统的可扩展学习。为此，本文提出本综述，旨在全面且及时地回顾机器人领域中基于人类视频的学习技术，重点关注人机技能迁移与数据基础。我们首先综述了机器人策略学习的基础，然后描述了融合人类视频的基本接口。随后，我们引入了一个将人类视频迁移至机器人技能的分层分类法，涵盖面向任务、观测和动作的路径，并跨系列分析了它们与不同数据配置和学习范式的耦合关系。此外，我们探究了数据基础，包括常用的人类视频数据集和视频生成方案，并提供了数据集开发与利用的大规模统计趋势。最后，我们着重讨论了该领域固有的挑战与局限性，并勾勒了未来研究的潜在方向。本综述的论文列表可参见 https://github.com/IRMVLab/awesome-robot-learning-from-human-videos。

📊 核心分析

🎯 研究动机
- 解决**具身智能(Embodied AI)** 和机器人领域中**数据扩展(scaling robot data)** 的关键瓶颈 - 利用丰富的**人类活动视频(human activity videos)** 和计算机视觉进展，使机器人能够被动地从人类演示中学习技能 - 现有方法在真实机器人数据获取上成本高昂，人类视频作为替代资源具有巨大潜力
🔧 核心方法
- 提出一种**分层分类法(hierarchical taxonomy)**，将人类视频到机器人技能转移分为**任务导向(task-oriented)**、**观察导向(observation-oriented)** 和**动作导向(action-oriented)** 三条路径 - 对不同路径与**数据配置(data configurations)** 和**学习范式(learning paradigms)** 的耦合进行跨家族分析 - 调查**数据基础(data foundations)**，包括广泛使用的**人类视频数据集(human video datasets)** 和**视频生成方案(video generation schemes)**，并提供大规模统计趋势
💡 核心创新
- **首次全面综述**：提供该领域最新、最全面的文献回顾，系统整合**人类-机器人技能转移(human-robot skill transfer)** 和**数据基础** 两方面 - **创新性分类框架**：提出的分层分类法清晰区分不同抽象层次的转移方式，并揭示它们与数据和学习范式的关联 - **大规模统计洞察**：对数据集开发和利用进行定量趋势分析，为该领域的数据选择提供指导
🏆 总体贡献
- 为**从人类视频学习机器人技能(robot learning from human videos)** 领域提供系统性参考框架，促进研究者理解整体脉络 - 明确当前挑战与限制，并勾勒**未来研究方向(future research directions)** - 提供公开的论文列表（https://github.com/IRMVLab/awesome-robot-learning-from-human-videos），便于社区复现与跟进