TouchAnything：基于第一人称视频的双手触觉估计数据集与框架

TouchAnything: A Dataset and Framework for Bimanual Tactile Estimation from Egocentric Video

以自我为中心的人体视频数据能够捕捉丰富的人与环境交互信息，并可大规模收集，已成为具身智能研究的关键驱动力。然而，现有自我中心数据集通常缺乏触觉感知——这一关键模态提供了人-物交互中关于接触、力和压力的直接线索。缺乏此类信号时，模型难以学习现实世界交互动态的物理基础表征。尽管触觉传感器能提供这些线索，但大规模部署高质量触觉硬件仍成本高昂且操作繁琐。这引发了一个核心问题：能否从视觉观察中直接推断触觉反馈，从而为自我中心视频数据提供可扩展的触觉监督，并支持基于物理的具身学习？为促进该方向的研究，我们提出EgoTouch——一个大规模多视角自我中心数据集，包含双手手-物交互的密集触觉监督。EgoTouch涵盖208个操作任务、共1891个场景序列，覆盖多样室内外环境，同步采集了多视角RGB图像（头戴式自我中心视角与双腕佩戴视角）、双手3D手部姿态以及来自可穿戴触觉传感器的连续压力图。基于EgoTouch，我们提出TouchAnything——一个基线多视角视觉到触觉预测框架，以自我中心视角为主输入，并在推理时灵活利用可用的腕部视角。实验表明，与仅使用自我中心视角相比，引入腕部视角通常能改善触觉预测，接触交并比相对提升最高达5.0%，体积交并比相对提升最高达6.1%。我们将公开发布数据集、代码和基准测试。