- 纺织品的机器人操作面临**连续变形(continuous deformation)** 和**自遮挡(self-occlusion)**，导致视觉感知难以准确估计布料状态
- 缺乏标注的真实世界数据，现有方法在高度遮挡状态或严重折叠时容易失败或产生误报
- 研究背景：双臂布料操作需要鲁棒的褶皱和关键点检测，但现有感知系统泛化能力不足
- 开发基于**Blender** 的合成数据生成管道，自动输出**关键点(keypoint)** 标注，结合手动标注的渲染图像与真实数据训练**褶皱检测器(wrinkle detector)**
- 提出感知框架：使用**卷积神经网络(CNN)** 进行**置换不变(permutation-invariant)** 关键点检测，以及**YOLOv8-OpenCV** 流水线从结构褶皱中提取**抓取点(grasping point)**
- 设计双臂算法：通过褶皱检测拉伸完全折叠的衣物，当角落出现时过渡到基于关键点的**熨烫(ironing)** 操作
- **首创性**：首次结合**合成数据生成(synthetic data generation)** 与手动标注的渲染数据，实现无需真实场景微调的布料状态感知
- **方法创新**：将**置换不变CNN** 用于关键点检测，适应布料任意变形；**YOLOv8-OpenCV管道** 从褶皱中提取抓取点，区别于传统基于边缘或角点的方法
- **策略创新**：提出**双阶段双臂操作(strategy)**：先基于褶皱拉伸，再基于关键点熨烫，有效处理从完全折叠到部分展开的过渡
- **性能优势**：关键点检测达到**平均位置误差(MPE)** 1.7615像素，感知系统无需微调即可迁移到真实织物，优于在高度遮挡或严重折叠下失败的基线方法
- 为**双臂布料操作(bimanual cloth manipulation)** 提供了一套完整的感知-操作框架，包含合成数据生成、视觉检测和分级控制策略
- 自动标注的关键点合成管道降低了对昂贵人工标注的依赖，促进了数据增强
- 在关键点检测上实现了高精度，并证明了零微调迁移到真实场景的有效性
- 在高度遮挡和严重折叠的挑战性条件下，显著优于现有感知基线，推动了纺织物机器人操作的实际应用