← 返回论文列表

AwareVLN: 基于自我意识的视觉-语言导航推理
AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation

作者: Wenxuan Guo, Xiuwei Xu, Yichen Liu 等10人
arXiv: 2605.22816v1
分类: cs.RO, cs.CV
📝 论文摘要
视觉与语言导航（VLN）要求智能体在视觉环境中根据语言指令引导自身移动。尽管现有最先进方法利用视觉语言模型（VLM）的推理能力进行端到端动作预测，但这些方法往往缺乏对智能体、指令与场景之间关系的显式且可解释的理解。相反，显式构建场景地图进行启发式规划在直觉上具有吸引力，但依赖额外3D传感器，且阻碍大规模视觉语言预训练。为弥合这一差距，我们提出AwareVLN——一种新颖框架，为导航模型配备自我感知推理机制，使其能够以完全端到端且数据驱动的方式理解智能体状态与任务进展。我们的方法包含两项关键创新：（1）一个结构推理模块，促进空间与任务导向的自我感知；（2）一个带有进度划分的自动数据引擎，用于高效训练。在Habitat模拟器中多个数据集上的广泛实验表明，我们的AwareVLN显著优于以往最先进的视觉语言导航方法。项目页面：https://gwxuan.github.io/AwareVLN/。

📊 核心分析

🎯 研究动机
- 现有**视觉-语言导航(Vision-Language Navigation, VLN)** 方法依赖**视觉-语言模型(Vision-Language Model, VLM)** 进行端到端动作预测，但缺乏对智能体、指令和场景之间关系的显式、可解释理解 - 传统的显式场景地图方法需要额外3D传感器，阻碍大规模**视觉-语言预训练(vision-language pre-training)** - 研究背景：VLN要求智能体理解自身状态和任务进度，现有方法难以在端到端框架中实现这种自我认知
🔧 核心方法
- 提出**AwareVLN** 框架，赋予导航模型**自我意识推理(self-aware reasoning)** 机制，实现完全**端到端(end-to-end)** 且**数据驱动(data-driven)** 的智能体状态与任务进度理解 - 包含两个关键模块：**结构推理模块(structural reasoning module)**，用于促进**空间与任务导向的自我意识(spatial and task-oriented self-awareness)** - 引入**自动数据引擎(automatic data engine)** 配合**进度划分(progress division)** 策略，以有效生成训练数据并指导模型学习
💡 核心创新
- **首创性**：首次将**自我意识推理(self-aware reasoning)** 引入VLN，使智能体在不依赖额外3D传感器或显式地图的情况下，以端到端方式感知自身状态和任务进展 - **结构推理模块**：区别于现有黑盒VLM推理，该模块显式建模空间关系和任务进度的结构化认知 - **自动数据引擎**：通过进度划分自动生成标注数据，解决了自我意识训练中难以获得真实状态监督的问题
🏆 总体贡献
- 为VLN领域提供了一种**自我意识推理范式(self-aware reasoning paradigm)**，弥合了端到端方法与可解释推理之间的鸿沟 - 在Habitat模拟器的多个数据集上显著超越先前**最先进(state-of-the-art)** 方法，证明有效性 - 开源项目页面（https://gwxuan.github.io/AwareVLN/）促进社区复现与后续研究