- 现有**视觉触觉传感器(Vision-based Tactile Sensors, VBTS)** 依赖不透明弹性体,无法同时实现视觉透明性
- **RGB-D相机** 在近距离下深度感知退化严重,无法提供精确的接触几何重建
- 需要一种集成视觉观察与触觉重建的紧凑设备,解决两者互斥的限制
- 设计**TransTac** 系统,采用**透明紫外(UV)编码弹性体** 与**双目光学结构**,嵌入UV反射标记
- 提出**先验引导的Delaunay立体匹配(prior-guided Delaunay stereo matching)** 算法,实现鲁棒的稀疏三角化
- 开发**轻量级检测器(lightweight detector)**,稳定检测密集分布的半透明标记,即使在接触和变形条件下
- **首创透明集成设计**:首次实现透明弹性体同时支持视觉观测与触觉重建,打破VBTS不透明限制
- **先验引导匹配**:相比全局指派基线,对应鲁棒性提升约21%,同时保持高重建精度
- **跨模态对齐增强**:零样本触觉图像识别准确率达83.3%,比不透明基线高约50个百分点;类中心相似度从0.2提升至0.77以上
- 为**视觉-触觉融合(visuo-tactile integration)** 提供了一种低成本(约$70)、紧凑的新范式
- 在语义评估和跨模态嵌入分析上达到显著性能提升,验证了透明弹性体在触觉感知中的有效性
- 开源硬件和算法设计,促进机器人灵巧操作、医疗触觉等领域的后续研究