← 返回论文列表

Trans2Occ: 透明物体的体素占用估计与抓取——从仿真到现实
Trans2Occ: Voxel Occupancy Estimation and Grasp for Transparent Objects from Simulation to Reality

作者: Yixuan Yang, Sha Zhang, Rui Li 等15人
arXiv: 2606.01777v1
分类: cs.RO
📝 论文摘要
透明物体由于折射和反射导致的不可靠深度感知，对机器人感知仍构成挑战。以往方法多依赖多视角重建或深度补全，但往往难以在真实机器人系统中规模化应用或部署。本文提出一种基于单视角RGB输入的透明物体感知与操作实用框架。该方法直接从单张图像预测体素空间占用，提供支持下游机器人抓取的几何感知表示。为实现大规模训练，我们构建了仿真流水线，在多样材质与光照条件下生成配对的RGB图像与体素占用标注。实验表明，预测的占用表示对域偏移具有鲁棒性，且无需微调即可从仿真有效迁移至真实机器人场景。基于该占用表示的简单规则抓取策略，在透明物体上实现了可靠抓取性能。在仿真与真实环境中的大量实验证明，本框架可实现透明物体的精确3D理解与实用操作。这些结果表明，单视角占用预测为机器人透明物体感知提供了可扩展且有效的解决方案。

📊 核心分析

🎯 研究动机
- 透明物体因折射和反射导致**深度感知(depth sensing)** 不可靠，阻碍机器人精确感知与操控 - 现有方法依赖**多视角重建(multi-view reconstruction)** 或**深度补全(depth completion)**，难以在实际机器人系统中规模化部署 - 研究背景：透明物体在工业、物流、家庭等场景中普遍存在，急需一种可扩展且实用的单视图感知方案
🔧 核心方法
- 提出基于**单视图RGB输入(single-view RGB input)** 的框架，直接预测**体素空间占据(voxel-space occupancy)**，提供几何感知表征 - 构建**模拟训练管道(simulation pipeline)**，自动生成大量RGB图像与体素占据标注对，涵盖多种材质与光照条件 - 采用简单的**规则式抓取策略(rule-based grasping strategy)**，基于预测的占据表示实现透明物体抓取
💡 核心创新
- **首创性**：首次将**单视图占据预测(single-view occupancy prediction)** 应用于透明物体感知，无需多视角或深度信息 - **迁移能力**：预测的占据表示对**域转移(domain shift)** 具有鲁棒性，无需微调即可从仿真直接迁移到真实世界 - **数据生成**：构建的模拟管道可大规模生成训练数据，解决透明物体标注困难的痛点，提升可扩展性
🏆 总体贡献
- 为**透明物体感知与操控(transparent object perception and manipulation)** 提供了一种实用、可扩展的范式，降低对专用传感器的依赖 - 在仿真和真实环境中验证了框架的**准确3D理解(accurate 3D understanding)** 与**可靠抓取性能(reliable grasp performance)** - 推动了**仿真到真实(sim-to-real)** 迁移在机器人感知领域的应用，展示了单视图占据预测的潜力