- 现有光学镊子(optical tweezers, OT)提供皮牛级操作,但复杂形状光学微机器人的**视觉-触觉遥操作(visuo-haptic teleoperation)** 框架尚未成熟,尤其在**多陷阱(multi-trap)** 操作场景中
- 研究背景:精细生物医学任务需要操作员感知交互力和陷阱稳定性,但缺乏有效的虚拟-触觉反馈集成方案
- 摘要明确指出“visuo-haptic teleoperation frameworks for complex-shaped optical microrobots remain underdeveloped”,这是核心待解决问题
- 提出**数字孪生框架(digital twin framework)**,集成**数字孪生环境(digital twin environment)**、基于图像的位姿和深度估计、微机器人运动模拟以及基于模型的触觉渲染
- 在**机器人操作系统(Robot Operating System, ROS)** 连接的双边遥操作(bimanual teleoperation)系统中实现
- 力建模结合**多球分布式操纵(Multi-Sphere Distributed Manipulation, MSDM)模型** 与来自**光学镊子工具箱(Optical Tweezers Toolbox)** 的光学力估计,实现模拟器驱动的视觉-触觉反馈
- **首创性**:首次将**数字孪生(digital twin)** 应用于复杂形状光学微机器人的虚拟视觉-触觉遥操作,填补多陷阱场景的空白
- **方法融合**:创新性地将**MSDM模型** 与**光学力估计** 结合,提供与拟合光学力模型数值一致的触觉力渲染
- **系统集成**:在ROS环境下搭建完整双手机器人遥操作平台,实现实时位姿估计、运动模拟与力反馈的闭环
- 为复杂形状光学微机器人的遥操作提供了一种**数字孪生范式**,显著提升操作员感知能力
- 在模拟细胞递送任务中,触觉反馈使**接触力指标标准差降低53.2%**,**微机器人到陷阱中心距离标准差降低55.2%**,任务成功率从30%提升至80%
- 验证了所提框架的有效性,为后续开发**视觉-触觉遥操作策略** 提供了评估平台与基准