人机交互中的多模态异常检测

Multimodal Anomaly Detection for Human-Robot Interaction

确保人机交互(HRI)的安全性与可靠性，需要及时检测可能导致系统故障或不安全行为的意外事件。因此，异常检测在使机器人能够识别和响应协作任务中偏离正常操作的情况方面起着关键作用。尽管在人机交互中重建模型已被积极研究，但直接在特征向量上操作的方法在很大程度上仍未得到探索。在这项工作中，我们提出了MADRI框架，该框架首先将视频流转换为具有语义意义的特征向量，然后执行基于重建的异常检测。此外，我们通过机器人的内部传感器读数和场景图来增强这些视觉特征向量，使模型能够捕捉视觉环境中的外部异常以及机器人本身的内部故障。为了评估我们的方法，我们收集了一个自定义数据集，包含正常和异常条件下的简单拾放机器人任务。实验结果表明，仅基于视觉特征向量的重建对于检测异常是有效的，而结合其他模态进一步提高了检测性能，突显了多模态特征重建在人机协作中实现稳健异常检测的优势。