- 现有基于**控制障碍函数(Control Barrier Function, CBF)** 的安全控制器在单目感知场景中,通常对所有障碍物分配相同的距离安全余量,忽略不同障碍物的语义风险差异
- 多数方法仅将语义信息作为下游控制器调整,而非将其嵌入到空间表示中,导致高风险物体(如行人)与低风险物体(如树木)在安全场中具有相同影响力
- 需要一种在线单目框架,能够实时推理障碍物的几何与类别相关风险,并在控制优化前编码该语义风险
- 提出一种**在线单目感知到控制框架**,前端使用基于**基础模型(foundation model)** 的**SLAM** 从单目RGB视频重建密集3D几何
- 结合**逐帧语义分割(per-frame semantic segmentation)**,将像素级类别标签融合到重建几何中,形成几何-语义表示
- 将几何-语义表示转换为**欧几里得符号距离场(Euclidean Signed Distance Field, ESDF)**,在计算前根据语义标签对高风险区域施加**类别相关膨胀(class-dependent inflation)**
- **CBF控制器** 利用语义感知ESDF提供的局部距离值和空间导数,并引入**类别相关增益(class-dependent gains)** 进一步调节控制器响应
- **首创性地将语义风险嵌入到距离场中**:在控制优化前将语义信息直接编码进ESDF,高风险物体在安全场中产生更大空间影响,而低风险物体影响较小
- **保持高效查询**:语义膨胀被集成到场计算阶段,运行时CBF查询仍保持ESDF的高效特性,实现在线10-20Hz运行
- **端到端感知-控制**:从单目RGB到CBF安全控制,无需手动定义障碍物风险等级,完全由语义分割和几何重建自动推理
- 为基于CBF的移动机器人安全控制提供了一种**语义感知新范式**,将语义风险融入空间表示而非后处理,显著提升复杂场景下的安全行为
- 在**遥操作和自主导航** 两种模式下均验证了有效性,大量仿真与硬件实验证明能够在10-20Hz在线运行
- 推动了**单目感知驱动的安全控制** 领域发展,减少了对外部深度传感器或预建地图的依赖,使低成本机器人具备语义级别风险规避能力