← 返回论文列表

利用先前遍历的点云地图先验进行基于相机的三维目标检测与跟踪
Leveraging Previous-Traversal Point Cloud Map Priors for Camera-Based 3D Object Detection and Tracking

作者: Markus Käppeler, Özgün Çiçek, Yakov Miron 等4人
arXiv: 2604.25405v1
分类: cs.CV, cs.RO
📝 论文摘要
基于摄像头的3D物体检测与跟踪是自动驾驶的核心技术，然而在没有昂贵且深度信息丰富的在线LiDAR支撑的推理场景中，精确的3D物体定位仍从根本上受限于深度模糊性。但在许多实际部署中，车辆会反复穿越相同环境，这使得从先前行驶中获取的静态点云地图成为一种实用的几何先验来源。我们提出DualViewMapDet——一种仅依赖摄像头的推理框架，该框架能够在线检索此类地图先验，并利用其弥补部署期间缺少LiDAR传感器的缺陷。其核心思路是一种避免单视角转换的双空间摄像头-地图融合策略。具体而言，我们：(i) 将地图投影到透视图(PV)中，编码多通道几何线索以丰富图像特征并支持BEV提升；(ii) 利用稀疏体素主干直接在鸟瞰图(BEV)中编码地图，并与提升后的摄像头特征在共享度量空间中进行融合。在nuScenes和Argoverse 2上的广泛评估表明，该方法相较于强大的纯摄像头基线取得了持续改进，尤其在物体定位方面表现突出。消融实验进一步验证了PV/BEV融合以及先验地图覆盖范围的贡献。代码与预训练模型已开源：https://dualviewmapdet.cs.uni-freiburg.de。

📊 核心分析

🎯 研究动机
- 基于摄像头的**3D目标检测与跟踪(3D object detection and tracking) ** 在自动驾驶中至关重要，但受限于** 深度模糊(depth ambiguity) ** 问题，无法像在线LiDAR那样提供精确深度信息 - 在线使用** LiDAR传感器**成本高昂且资源消耗大，许多部署场景难以配备 - 车辆常反复经过相同环境，因此** 先前遍历的静态点云地图(prior-traversal point cloud map)** 可作为廉价且可用的几何先验来源
🔧 核心方法
- 提出**DualViewMapDet** 框架，一种**仅摄像头推理(camera-only inference) ** 架构，通过在线检索地图先验来弥补部署时LiDAR缺失 - 采用** 双空间相机-地图融合策略(dual-space camera-map fusion) ** ：（i）将地图投影至** 透视视图(perspective view, PV) ** 并编码多通道几何线索来增强图像特征并支持** BEV提升(BEV lifting) ** ；（ii）在** 鸟瞰图(bird's-eye view, BEV)** 中直接用稀疏体素骨干编码地图，并与提升后的相机特征在共享度量空间融合 - 整体框架在nuScenes和Argoverse 2数据集上评估，消融实验验证了PV/BEV融合及先验地图覆盖的贡献
💡 核心创新
- **首创性地利用历史遍历点云地图先验** ：在无在线LiDAR时，通过复用先前采集的静态地图提供几何信息，避免额外硬件成本 - **双空间融合避免单视角转换缺陷** ：同时从PV和BEV两个视角处理地图数据，保留各自的几何与语义优势，优于仅单视角投影的方法 - **多通道几何线索编码** ：在透视视图中将地图投影为密集的几何特征图，使图像特征和BEV提升受益于更丰富的深度先验
🏆 总体贡献
- 为**基于摄像头的3D感知(camera-based 3D perception) ** 提供了一种利用复用地图先验的新范式，显著缓解** 深度模糊问题** - 在** nuScenes**和** Argoverse 2**两大基准上，相比强基线的仅摄像头方法，在** 目标定位(object localization)** 指标上取得一致且显著的提升 - 开源代码与预训练模型，促进社区复现与后续研究，推动低成本自动驾驶感知方案的实际部署