VLA的差异化失败：黑盒动作监控揭示架构特定的失败特征

📝 论文摘要

我们发现，VLA架构在运动指令层面上会以根本性不同且可预测的方式失效。在相同评估协议下（PushT与ALOHA 14自由度双臂操作任务各450个回合）运行VQ-BeT、扩散策略和ACT，得到以下结果：（1）方向反转率是所有三种架构通用的失效预测指标（AUROC分别为0.93、0.79、0.91；p<0.001）；（2）加加速度监测仅对离散令牌架构具有预测性，呈现从离散到连续的梯度变化（0.88、0.69、0.41）；（3）速度违规单独在任何场景下均无预测能力（AUROC 0.41-0.69），但速度检查却是VLA部署代码中最常见的安全机制；（4）对于连续家族VLA，速度监测提供的预测信号几乎为零（ACT上AUROC=0.52，扩散策略上0.41），证明必须选择与架构匹配的监测器。这些结果量化了已知离散/连续VLA区分带来的监测后果：两类架构产生性质不同的失效特征，需要不同的监测器。没有通用监测器；必须进行架构匹配选择。这一发现得益于SafeContract——一种无需训练、黑盒操作的共形校准动作监测工具包。代码地址：https://github.com/krishnam94/vla-edge

🎯 研究动机

- 现有VLA(视觉-语言-动作)系统部署中，安全监控普遍采用**速度检查(velocity checking)** 等通用机制，但不同架构（离散vs连续）的失败模式差异未被系统理解 - 研究背景：VLA架构（如**VQ-BeT**、**Diffusion Policy**、**ACT**）在电机指令层面失败方式是否可预测、是否具有架构特异性尚不清楚

🔧 核心方法

- 在**PushT** 和**ALOHA 14-DOF双臂操作** 任务上，对三种VLA架构（VQ-BeT、Diffusion Policy、ACT）执行相同的评估协议（n=450 episodes） - 提取**方向反转率(direction reversal rate)**、**加加速度(jerk)**、**速度违规(velocity violations)** 等特征，用AUROC和p值评估其作为失败预测器的有效性 - 提出**SafeContract** 工具：无需训练(training-free)的黑盒动作监控框架，采用**共形校准(conformal calibration)** 保证可靠性

💡 核心创新

- **发现架构特异性失败签名**：方向反转率是三种架构通用的失败预测器（AUROC≥0.79），但jerk仅对离散令牌架构有效（AUROC梯度0.88→0.69→0.41），速度违规在所有架构中均无效（AUROC 0.41-0.69） - **揭示监控选择的必要性**：证明没有单一监控器能通用，必须根据VLA的离散/连续家族选择架构匹配(architecture-matched)的监控器 - **量化了离散/连续VLA区分的监控后果**：连续族VLA（ACT、Diffusion）的速度监控几乎无预测信号（AUROC≈0.52/0.41），而常见部署代码错误地依赖速度检查

🏆 总体贡献

- 为**VLA安全部署** 提供了系统性知识：不同架构产生定性不同的失败模式，需针对性设计监控器 - 指出当前最常用的**速度检查(velocity checking)** 机制在大多数VLA架构中无效，纠正了实践中的错误假设 - 开源了**SafeContract** 工具和代码（GitHub），支持无需训练的、架构感知的**黑盒动作监控(black-box action monitoring)**，促进社区复现与后续研究

VLA的差异化失败：黑盒动作监控揭示架构特定的失败特征
How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures

📊 核心分析

VLA的差异化失败：黑盒动作监控揭示架构特定的失败特征 How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures

📊 核心分析

VLA的差异化失败：黑盒动作监控揭示架构特定的失败特征
How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures