该论文旨在解决机器人操作中的长期记忆问题。研究背景是:在机器人操作任务中,遮挡和状态变化会导致决策时的观测具有感知混淆性,使得在观测层面上的动作选择具有非马尔可夫性,因为相同的观测可能源于不同的交互历史。现有方法通常通过语义压缩轨迹和基于相似性的检索来实现记忆,但这会丢弃用于区分的细粒度感知线索,并可能检索到感知相似但与决策无关的历史片段。
论文提出了名为Chameleon的系统,其核心方法包括:
- **记忆写入**:写入基于几何的多模态令牌,以保留用于区分上下文的细粒度信息。
- **记忆检索**:通过一个可微分的记忆栈实现目标导向的回忆。
- **数据集**:引入了Camo-Dataset,这是一个在感知混淆条件下,涵盖情景回忆、空间跟踪和顺序操作的真实机器人UR5e数据集。
论文的核心创新点在于:
- **受人类情景记忆启发的记忆机制**:与现有基于语义压缩和相似性检索的方法不同,Chameleon通过写入基于几何的多模态令牌来保留关键的、用于区分的细粒度感知上下文,从而更有效地应对感知混淆。
- **可微分记忆栈**:提出了一种新颖的可微分记忆栈结构,能够实现目标导向的回忆,直接优化任务相关的记忆检索,而不是单纯依赖感知相似性。
- **系统性解决方案**:将记忆的写入(保留区分性上下文)与检索(目标导向)紧密结合,为长期、感知混淆场景下的机器人操作提供了一个更鲁棒的记忆框架。
论文对该领域的总体贡献是:
- **提出了Chameleon系统**:一个新颖的、受人类情景记忆启发的记忆架构,专门用于解决长期机器人操作中的感知混淆问题。
- **引入了Camo-Dataset**:一个具有挑战性的真实机器人数据集,用于评估在感知混淆条件下的情景回忆、空间跟踪和顺序操作能力。
- **实证验证了有效性**:在多种任务中,Chameleon在感知混淆环境下,相比强大的基线方法,持续提升了决策的可靠性和长期控制性能。