← 返回论文列表

GesVLA：手势感知的视觉-语言-动作模型嵌入式表示
GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations

作者: Wenxuan Guo, Ziyuan Li, Meng Zhang 等10人
arXiv: 2605.22812v1
分类: cs.RO, cs.CV
📝 论文摘要
视觉-语言-动作（VLA）模型通过统一感知与动作，在通用机器人操作中展现出强大潜力。然而，现有VLA系统主要依赖文本指令，在包含多个相似物体的复杂场景中难以解决空间歧义问题。为弥补这一局限，我们引入手势作为并行指令模态，并提出手势感知视觉-语言-动作模型（GesVLA）。该方法将手势特征直接编码至潜在空间，使其既能参与高层推理又能参与低层动作生成，并采用双VLM架构实现手势表征与动作策略的紧密耦合。在数据层面，我们通过将手部模型渲染至真实场景图像，构建了可扩展的手势数据生成流水线，在缩小仿真-真实视觉差异的同时，生成了包含多样化运动模式及对应指向标注的丰富数据。此外，我们采用两阶段训练策略，使模型同时具备手势感知与动作预测能力。我们在多个真实机器人任务上评估了该方法，包括用于验证的受控积木操作任务，以及更具实用性的产品与农产品选取场景。实验结果表明，引入手势持续提升了目标定位精度与人机交互效率，尤其在复杂凌乱环境中效果显著。项目页面：https://gwxuan.github.io/GesVLA/。

📊 核心分析

🎯 研究动机
- 现有**视觉-语言-动作(Vision-Language-Action, VLA)** 模型主要依赖文本指令，在复杂场景中存在多个相似物体时难以解决空间模糊性问题 - 机器人操作需要更直观、更精准的交互方式，手势作为一种自然指令模态尚未被充分挖掘 - 研究背景：通用机器人操作需要统一感知与动作，但当前方法在目标接地(target grounding)方面存在不足
🔧 核心方法
- 提出**GesVLA** 模型，将手势特征直接编码到潜在空间中，使手势同时参与高层推理和低层动作生成 - 采用**双VLM架构(dual-VLM architecture)**，实现手势表示与动作策略的紧耦合 - 构建可扩展的手势数据生成管线：将手部模型渲染到真实场景图像上，减少**仿真到现实(sim-to-real)** 视觉差异 - 采用两阶段训练策略，分别赋予模型手势感知能力和动作预测能力
💡 核心创新
- **首创性**：首次将手势作为并行指令模态融入VLA模型，解决空间模糊性问题 - **架构创新**：双VLM架构实现手势表示与动作策略的紧耦合，而非简单特征拼接 - **数据生成创新**：通过渲染手部模型到真实图像，生成多样运动模式和对应指向标注的数据，避免真实标注困难 - **训练策略**：两阶段训练分别学习手势感知和动作预测，提升模型鲁棒性
🏆 总体贡献
- 为机器人操作任务提供了一种新颖的**手势感知VLA范式(Gesture-aware VLA paradigm)**，显著提升复杂场景下的目标接地精度 - 在真实世界的多种机器人任务（如积木操作、产品挑选）上验证有效性，展示了优越的人机交互效率 - 提出可扩展的数据生成管线，助力后续研究减少仿真到现实的差距 - 开源项目页面和代码，促进社区复现与进一步研究