评估生成模型作为类人协作行为的交互式涌现表示

Evaluating Generative Models as Interactive Emergent Representations of Human-Like Collaborative Behavior

人机协作要求人工智能体理解人类行为以实现有效协调。尽管基础模型在理解和展现类人行为方面展现出令人瞩目的能力，但其在具身协作场景中的应用仍需进一步探究。本研究旨在考察具身基础模型智能体是否展现出表明其具备协作对象内在心智模型的涌现协作行为——这是实现有效协调的重要方面。本文构建了一个二维协作游戏环境，其中大语言模型智能体与人类需完成需要协调的颜色匹配任务。我们定义了五种协作行为作为心智模型涌现表征的指标：视角采择、协作感知规划、内省、心智理论和澄清。采用基于大语言模型的评判者构建的自动化行为检测系统能够识别这些行为，其与人工标注结果达到相当至显著的一致性。自动化行为检测系统结果显示，基础模型在未经明确训练的情况下持续展现出涌现协作行为。这些行为在协作阶段以不同频率发生，且不同大语言模型间呈现差异化模式。此外还进行了用户研究以评估人类满意度及感知协作效果，结果表明协作体验积极。参与者认可智能体的任务聚焦、计划外化及主动性，同时建议改进响应时间和类人交互方式。本研究为人机协作提供了实验框架、具身大语言模型智能体协作行为的实证依据、经过验证的行为分析方法论以及协作效果评估体系。