DeMaVLA：用于可泛化可变形操作的视觉-语言-动作基础模型

DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation

真实世界的家务机器人需要具备视觉-语言-动作（VLA）基础模型，这些模型能够跨不同物体、任务条件和家庭环境获取可复用的操作技能。可变形物体折叠是一项代表性挑战，要求机器人处理从随机初始状态出发、涵盖不同类别、几何形状、材质和场景的衣物。然而，现有VLA系统通常为不同物体类别分别训练策略，而简单混合的多任务训练常面临任务干扰和性能下降问题。为突破类别特化的折叠策略，我们提出DeMaVLA——一个面向可泛化可变形操作的基础VLA模型。DeMaVLA采用带有动作专家的视觉语言模型（VLM）主干，并利用流匹配（flow matching）构建连续动作生成。为提升效率，动作专家通过每隔一层Transformer层进行剪枝构建，同时保持与VLM主干的逐层对齐，从而降低训练和推理成本。DeMaVLA首先在约5000小时的精选真实世界双臂演示数据上预训练，以获取通用操作先验知识；随后在混合折叠数据上进行后训练，该数据集通过人在回路的数据聚合（DAgger）流程，整合了自采集演示和来自多个折叠任务中真实机器人失败的纠正轨迹。实验表明，DeMaVLA在RoboTwin基准上取得了有竞争力的性能，并在我们的家庭折叠基准上展现出强大的真实世界结果。这些结果凸显了可扩展真实世界数据、高效动作生成以及纠正性学习对于可变形物体操作中通用VLA策略的价值。