GazeVLA：面向机器人操作的人类意图学习

GazeVLA: Learning Human Intention for Robotic Manipulation

具身基础模型在机器人操作领域取得了显著突破，但仍高度依赖大规模机器人演示数据。尽管近期研究尝试利用人类数据来缓解这一依赖，但由于人类与机器人之间存在固有的具身鸿沟，如何有效提取可迁移知识仍是重大挑战。我们认为人类行为背后的意图可作为弥合这一鸿沟的有效中间表征。本文提出一种显式学习与迁移人类意图的新框架以促进机器人操作。具体而言，我们通过目光建模意图——目光自然先于物理动作发生，且是人类意图的可观测代理。该模型首先在大规模第一人称人类数据集上进行预训练以捕捉人类意图及其与动作的协同关系，随后在少量机器人与人类数据上进行微调。推理阶段，模型采用思维链推理范式，在执行动作前按序预测意图。在仿真与真实场景、长时域与精细任务、少样本与鲁棒性基准测试中的广泛评估表明，我们的方法始终优于强基线模型，具备更优泛化能力，并达到了最先进性能。