- 人类能够通过观察他人被触摸而产生相应的触觉感知(**镜像触觉(mirror touch)**),这种能力支持共情和社会认知,但机器人缺乏实现这一原理的计算框架
- 现有机器人系统无法从**RGB图像** 预测高分辨率触觉信号,尤其是在机器人手和人类手的跨域场景中
- 研究背景:**触觉感知( tactile perception)** 和**人机交互(human-robot interaction)** 需要机器人具备预测性触觉响应能力
- 提出 **Mirror Touch Net** 框架,通过多级约束实现视觉与触觉表征的**语义对齐(semantic alignment)**、**分布对齐(distributional alignment)** 和**几何对齐(geometric alignment)**
- 从RGB图像预测机器人手上1140个触觉点(taxel)的毫米级触觉信号
- 使用**流形分析(manifold analysis)** 验证约束将视觉表征重塑为与触觉流形一致的几何结构,降低跨模态映射复杂度
- 扩展对齐框架到跨域人类手部观察,实现触觉预测和反射式响应
- **神经原理的工程化**:首次将**视觉-触觉皮层对齐(visuo-tactile cortical alignment)** 这一神经机制运用于机器人触觉感知,使机器人获得类似人类的镜像触觉
- **多级对齐约束**:同时施加语义、分布和几何三种对齐约束,显著提升跨模态预测精度和泛化能力
- **流形几何重构**:通过约束使视觉表征与触觉流形几何一致,简化映射复杂性,提供可解释性
- **跨域泛化**:从机器人手到人类手的观察都能预测触觉,实现反射式响应
- 为机器人触觉感知提供了基于神经科学的**可解释框架**,弥合了神经科学原理与机器人感知之间的鸿沟
- 实现了从视觉到高密度触觉信号的毫米级预测,在1140个触觉点上达到高精度
- 推动了**共情人机交互(empathic human-robot interaction)** 的发展,使机器人能够预测性响应触觉事件
- 开源代码促进社区复现和后续研究