通过自我调节的模拟规划实现高效智能体推理

Efficient Agentic Reasoning Through Self-Regulated Simulative Planning

代理应如何决定何时以及如何进行规划？主流方法是将代理构建为具有自适应计算能力（例如思维链）的反应式策略，并通过端到端训练期望规划隐式涌现。由于无法控制规划的存在性、结构或视野，这些系统会大幅增加推理长度，导致令牌使用效率低下且无法可靠提升准确率。我们认为高效的代理推理应通过将决策分解为三个系统来受益：模拟推理（系统II）通过世界模型基于未来状态预测进行深思熟虑；自我调节（系统III）通过可学习的配置器决定何时以及多深入地进行规划；以及反应式执行（系统I）处理细粒度动作。模拟推理无需针对不同领域进行工程化设计即可提供跨多样任务的统一规划，而自我调节则确保仅在需要时调用规划器。为验证这一方案，我们开发了SR$^2$AM（自调节模拟推理代理大语言模型），将两者作为大语言模型思维链中的独立阶段实现，并以该大语言模型作为世界模型。我们探索了两种实例化方式：从提示驱动的多模块系统（v0.1）中记录决策，以及从预训练推理大语言模型的轨迹（v1.0）中重建结构化规划，并通过监督学习与强化学习进行训练。在数学、科学、表格分析与网络信息检索任务中，v0.1-8B与v1.0-30B模型分别达到了与120-355B及685B-1T参数系统相当的Pass@1性能，同时v1.0-30B模型相比同类代理大语言模型减少了25.8%-95.3%的推理令牌使用量。强化学习使平均规划视野增加22.8%，而规划频率仅增长2.0%，表明模型学会了更长远而非更频繁的规划。更广泛而言，可学习的自我调节体现了一条原则——我们预期该原则将超越规划范畴，延伸至代理如何管控自身学习与适应过程。