可供性VLA：一种通过可供性感知理解赋能动作生成的视觉-语言-动作模型

AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding

视觉-语言-动作（VLA）模型利用预训练视觉-语言模型（VLM）丰富的世界知识，实现指令跟随的机器人操作。然而，VLM语义空间与具身控制策略之间的结构性错位常常阻碍精确感知-动作映射的学习。为解决这一挑战，我们提出**AffordanceVLA**，一个统一框架，通过引入结构化的可供性预测作为面向任务的中间表示，建立更精确、鲁棒的感知-动作映射。具体而言，我们通过三个互补组件逐步建模操作先验：1)**Which2Act**：通过视觉潜在预测实现以物体为中心的地面真值定位，抑制干扰；2)**Where2Act**：通过可供性地图估计实现二维交互定位；3)**How2Act**：通过三维几何推理引导操作策略。这些可供性线索提供了空间接地、语义条件化和动作耦合的中间表示，从而自然桥接视觉、语言和动作。我们将这些模块集成到具有专用专家的混合Transformer（MoT）架构中，并采用三阶段训练策略和渐进式数据课程进行模型训练。为解决机器人数据集中密集可供性标签稀缺的问题，我们还开发了鲁棒的自动数据增强流水线。在仿真和真实世界中的大量实验表明，AffordanceVLA在多样化操作场景中实现了优异性能。