- 现有基于**平面图(floor plan) ** 的视觉定位方法大多忽略其丰富的** 语义信息(semantic information)** ,仅利用几何信息
- 建筑平面图广泛可用,包含几何布局和语义元素(如墙、窗、开口),但未被充分利用
- 研究背景:机器人定位需要从图像和先验地图中估计位姿,跨模态匹配(视觉-平面图)面临巨大挑战
- 提出**COMPASS** 算法,设计**多通道径向描述符(multi-channel radial descriptor) ** ,从平面图通过360°射线投射编码5个通道:归一化距离、结构命中类型(墙/窗/开口)、距离梯度、逆距离、局部距离方差
- 从鱼眼图像侧,通过** 窗口检测算法(window detection) ** 使用**线段检测器(line segment detector) ** 结合垂直边缘聚类和亮度验证识别窗框
- 检测到的窗户通过** 鱼眼相机模型**投影到方位角,填充视觉描述符的命中类型通道,实现与平面图描述符的结构对齐
- **首次引入语义先验** :在平面图定位中同时利用几何和语义信息(尤其是窗户结构),超越传统仅用几何的方法
- **跨模态描述符对齐** :设计了统一的**多通道径向描述符** ,使得从平面图生成的描述符与从鱼眼图像生成的描述符具有相同结构,支持后续匹配
- ** 鱼眼图像窗口检测方法**:针对鱼眼图像失真特点,提出专门的窗框检测算法,为跨模态匹配提供关键语义线索
- 提出一种利用**平面图语义先验** 的视觉定位新范式,证明跨模态结构匹配的可行性
- 在**Hilti-Trimble SLAM Challenge 2026** 数据集上展示概念验证,墙窗模式匹配成功,为后续完整定位系统奠定基础
- 提供的**多通道描述符设计** 和**鱼眼窗口检测** 方法可扩展到其他场景,推动平面图辅助的语义定位研究