计算机使用代理中的人为监督策略比较

Comparing Human Oversight Strategies for Computer-Use Agents

由大型语言模型驱动的计算机使用代理正在将用户从直接操作转向监督协调。然而，现有的监督机制大多作为孤立的界面功能进行研究，使得更广泛的监督策略难以比较。我们将计算机使用代理监督概念化为一个由委托结构和参与程度定义的结构性协调问题，并以此视角在真实网络环境中对48名参与者开展混合方法研究，比较四种监督策略。研究结果表明，监督策略对用户接触问题行为的可靠性影响，远大于问题行为显现后用户的纠正能力。基于计划的策略与代理问题行为发生率降低相关，但一旦问题行为显现，运行时干预成功率并未获得同等程度的提升。在主观评价指标上，没有单一策略在所有方面表现最佳，最明显的上下文敏感差异体现在信任度上。定性研究进一步表明，干预不仅取决于用户保留的控制权，还取决于风险时刻在执行过程中是否清晰可辨、需要判断。这些发现表明，有效的计算机使用代理监督并非仅通过最大化人类参与来实现，而是取决于如何构建监督机制，以凸显决策关键节点，并支持用户在关键时刻识别问题，实现有效干预。