探究具身大语言模型：更高的观察保真度反而损害问题解决

Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

大型语言模型正被越来越多地作为机器人系统中的认知组件，但其不透明的决策过程使得在闭环具身任务中解释成功或失败的原因变得困难。遵循经验人工智能方法论，我们通过改变智能体可获得的信息并测量由此产生的行为变化，对具身大型语言模型进行行为学的研究。利用锁盒——一种具有隐藏依赖关系的顺序机械谜题——我们在物理机器人装置中评估了大型语言模型在RGB、RGB-D及地面真值符号观测下的表现，并通过受控仿真探究其行为结果。与直觉相反，智能体在原始RGB输入下表现最佳，而在完美地面真值观测下表现最差。在仿真中，我们通过随机翻转感知到的动作结果来探究这一效应，发现适度噪声能提升性能，在40%翻转概率下达到峰值，成功率比无噪声基线提高了2.85倍。进一步分析将这一提升归因于重复动作循环的减少。这些发现表明，仅凭成功率不足以评估大型语言模型，因为测量到的性能可能反映的是感知错误与推理失败之间的相互作用，而非稳健的问题解决能力。