← 返回论文列表

面向顺应性机器人夹爪的基于模型的视觉接触定位与力感知系统
A Model-based Visual Contact Localization and Force Sensing System for Compliant Robotic Grippers

作者: Kaiwen Zuo, Shuyuan Yang, Zonghe Chua
arXiv: 2605.00307v1
分类: cs.RO, cs.CV
📝 论文摘要
夹持力估计有助于防止机器人在操作过程中损坏易碎物体，并提升基于学习的机器人控制性能。将力传感集成到可变形夹爪中，可在成本、复杂度、机械鲁棒性和性能之间实现权衡。随着用于控制的RGB-D腕部摄像头越来越普遍地集成到机器人系统中，基于摄像头的方法为间接视觉力估计提供了有前景的解决方案。现有方法主要采用端到端深度学习，但该方法在泛化到新场景时可能缺乏鲁棒性，而现有的基于模型的方法不适用于抓取任务和现代夹爪几何结构。为解决这些挑战，我们开发了一种基于模型的视觉力传感方法，将迭代接触定位与对未见物体的泛化能力相结合。该系统从变形鳍射线软夹爪的腕部摄像头RGB-D图像中提取结构关键点，并利用这些关键点在模拟开放框架架构中定义逆有限元分析仿真的参数。迭代接触定位子系统采用基于深度学习的在线三维重建和姿态估计流程动态更新接触位置，并对视觉遮挡和未见物体具有鲁棒性。实验表明，在负载阶段，系统与不同物体在各种条件下交互时，平均均方根误差为0.23 N，归一化均方根偏差为2.11%；在整个抓取过程中分别为0.48 N和4.34%。这展现了该系统在软夹爪实时基于模型的间接力传感方面的潜力。

📊 核心分析

🎯 研究动机
- 解决**柔性机器人夹爪** 在操作过程中抓取力估计的难题，防止损坏易碎物体并提升基于学习的机器人控制 - 现有方法多采用**端到端深度学习(end-to-end deep learning)**，泛化到新场景时脆弱；而现有基于模型的方法不适用于抓取和现代夹爪几何结构 - 研究背景：随着RGB-D腕部相机在机器人控制中的集成，基于相机的方法成为间接视觉力估计的有前景方案，但缺乏鲁棒的模型驱动方法
🔧 核心方法
- 提出**基于模型的视觉力传感系统(model-based visual force sensing system)**，集成迭代接触定位和泛化到未知物体 - 从腕部相机RGB-D图像中提取**鳍条状软夹爪(fin-ray-shaped soft gripper)** 的结构关键点，定义**逆有限元分析(inverse FEA)** 模拟参数，在SOFA(Simulation Open Framework Architecture)中运行 - **迭代接触定位子系统(iterative contact localization sub-system)** 利用基于深度学习的在线3D重建和位姿估计管线，动态更新接触位置，并对视觉遮挡和未知物体具有鲁棒性
💡 核心创新
- **模型驱动而非数据驱动**：摒弃端到端深度学习，采用基于有限元分析(finite element analysis)的物理模型，提升泛化能力 - **迭代接触定位**：结合深度学习重建和模型仿真，动态更新接触点，克服传统模型方法不能处理未知物体和遮挡的缺陷 - **针对软夹爪**：专门设计用于鳍条形软夹爪几何结构，与现有基于模型的方法（不适合抓取和现代夹爪形状）形成对比
🏆 总体贡献
- 为柔性夹爪提供了一种**实时、基于模型的间接力传感(model-based indirect force sensing)** 新范式，具有高精度（负载阶段平均RMSE 0.23 N，NRMSD 2.11%) - 在多种物体和条件下验证了鲁棒性，包括视觉遮挡和未知物体，推动了力传感在机器人操作中的实用化 - 为软体机器人领域提供了**模型与学习结合(hybrid model-learning)** 的思路，平衡了鲁棒性与适应性