BORA：连接离线强化学习与在线残差自适应，用于现实世界灵巧VLA模型

BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models

视觉-语言-动作（VLA）模型已成为将视觉语言理解融入真实机器人操作的一种有前景的范式。然而，由于高维手部控制和复合执行误差，灵巧操作对VLA策略仍然具有挑战性，这使得真实世界的强化学习后训练对于弥合视觉引导的动作生成与物理可靠的灵巧执行之间的差距至关重要。然而，高维的灵巧探索常常触发真实世界中的时间不一致性、样本低效性和硬件风险。为应对这些挑战，我们提出BORA，一个为真实世界灵巧VLA模型设计的离策略到在策略的强化学习后训练框架。在离策略阶段，BORA构建了一个批评者，其输入同时包含VLM的认知令牌和动作块。这一设计实现了基于动作条件的值指导，使批评者能够评估超越视觉上下文的灵巧手部运动。在随后的在策略阶段，BORA冻结VLA基座，并引入一种轻量级的人机协作（HiL）块级残差自适应机制，以缓解真实世界的执行误差，并在实际物理环境中进一步修正离策略学习的意图。通过继承离策略批评者并采用干预驱动的奖励，BORA有效纠正了执行偏差，适应了真实世界的物理变化，同时将预训练策略作为稳定的先验保持。在五个复杂的真实世界灵巧任务上的广泛评估表明，BORA显著优于纯模仿学习和传统的解耦强化学习基线，在标准设置下平均成功率绝对提升33%，在未见物体泛化中提升高达43%。