面向安全人机协作的视觉语言模型碰撞接地探测

Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration

安全的人-机器人协作需要的不仅仅是视觉描述：监控设备必须判断机器人本体是否安全分离、是否已与场景或人发生碰撞，或即将发生碰撞。我们将这种能力称为碰撞接地：将视觉观测与机器人本体几何结构、摄像机视角、场景布局、人体接近程度和时间运动信息相结合，以推断当前和即将发生的接触。我们提出了TouchSafeBench，这是一个基于物理的基准，用于评估视觉语言模型（VLM）的碰撞接地能力。TouchSafeBench构建于Habitat~3.0之上，包含2,940个模拟室内共在场景的社交导航与社交重排片段，配有同步的多视角RGB-D观测、俯视轨迹地图、标定摄像机元数据以及模拟器生成的接触标签。我们研究了两类面向部署的任务：当前安全状态分类和接触前的碰撞预警。在三个前沿或面向机器人领域的VLM和九种视觉表征上，当前模型远未达到可靠水平：最佳平均Macro-F1低于50%，显式深度并未自动转化为机器人本体的碰撞证据，且机器人与场景的接触始终比人机接触风险更难识别。TouchSafeBench揭示了具身VLM的一个核心局限：视觉流畅性不代表物理可问责性。可靠的机器人安全监控需要能够显式绑定视角、机器人形态、度量几何和未来碰撞的表征。我们将在论文被接收后发布该基准。