Gaze4HRI: 面向人机交互的凝视估计神经网络的零样本基准测试

Gaze4HRI: Zero-shot Benchmarking Gaze Estimation Neural-Networks for Human-Robot Interaction

虽然基于外观的零样本3D视线估计通过直接将RGB图像映射到视线向量提供了显著的成本效率，但其在人机交互（HRI）场景中的可靠性仍不确定。现有基准测试常常忽略基本的HRI条件，例如视频中的动态相机视角和移动目标。此外，当前的跨数据集评估通常存在复杂度差距，即在多样化数据集上训练的方法被在规模明显更小、变化更少的数据集上测试，从而无法评估真正的鲁棒性。为弥补这些不足，我们引入了Gaze4HRI——一个大规模数据集（50余名受试者、3000余段视频、60万余帧），旨在评估针对关键HRI变量的最新性能：光照、头部-视线冲突，以及视频中相机和视线目标的运动。我们的基准测试揭示，所有被评估的方法至少在一种条件下失败，其中陡峭向下的视线被识别为普遍失效点。值得注意的是，基于ETH-X-Gaze数据集训练的PureGaze方法在所有其他条件下保持了独有的鲁棒性。这些结果对近期文献中专注于复杂时空建模和基于Transformer架构的研究方向提出了挑战。相反，我们的发现表明，以ETH-X-Gaze数据集为代表的大规模数据多样性，是非约束环境下零样本鲁棒性的主要驱动因素，而像PureGaze的自对抗损失用于视线特征净化这类增强鲁棒性的框架，则带来了显著的进一步改进。最终，本研究建立了一个严格的基准，为从业者提供实用指南，并重塑未来研究方向。数据集和代码见 https://gazeforhri.github.io。