EvObj: 学习演化的以对象为中心的表征用于无场景监督的3D实例分割
EvObj: Learning Evolving Object-centric Representations for 3D Instance Segmentation without Scene Supervision
作者:
Jiahao Chen, Zihui Zhang, Yafei Yang 等7人
分类:
cs.CV, cs.AI, cs.LG, cs.RO
📝 论文摘要
我们提出了EvObj方法，用于无监督三维实例分割，该方法弥合了合成预训练数据与真实点云之间的几何域差距。当前方法在将物体先验从合成数据集（如ShapeNet）迁移到真实扫描数据（如ScanNet）时，存在结构差异问题，尤其是由形态变化和遮挡伪影所致。为解决这一问题，EvObj集成了两个创新模块：（1）物体判别模块，动态优化物体候选，使物体先验能够持续适应目标领域；（2）物体补全模块，在发现物体后重建部分几何形状。我们在真实和合成数据集上进行了广泛实验，结果表明，在三维物体分割性能上，该方法优于所有基线方法，并达到了最先进的水平。
📊 核心分析
- 现有无监督**3D实例分割(3D instance segmentation)** 方法在从合成数据集（如ShapeNet）迁移到真实点云（如ScanNet）时，因**几何域差距(geometric domain gap)** 导致性能下降
- 结构差异，特别是**形态变化(morphological variations)** 和**遮挡伪影(occlusion artifacts)**，使得对象先验难以直接适用
- 研究背景：无监督方法需在没有场景级标注的情况下实现鲁棒的3D实例分割，但现有方法缺乏对目标域的持续适应能力
- 提出**EvObj框架**，包含两个创新模块：**对象识别模块(object discerning module)** 和**对象完成模块(object completion module)**
- **对象识别模块** 动态地精炼对象候选，实现对象先验从合成域到目标域的持续适应
- **对象完成模块** 在发现对象后重建部分几何结构，缓解遮挡和不完整扫描带来的影响
- **动态演化对象表示(evolving object-centric representations)**：首次在无监督3D实例分割中引入对对象候选的连续调整机制，而非静态先验
- **结合识别与补全**：同时进行对象识别和几何补全，形成闭环优化，提升对部分观测的鲁棒性
- **无场景监督**：整个流程无需任何场景级标注，仅利用合成数据预训练和未标记真实点云，实现跨域自适应
- 为**无监督3D实例分割** 提供了一种新颖的跨域自适应范式，显著缩小了合成与真实数据之间的鸿沟
- 在真实数据集（如ScanNet）和合成数据集上均取得**最优性能(SOTA)**，超越所有基线方法
- 开源代码（若提供）促进社区复现与后续研究，推动无监督3D感知领域发展