协调扩散：无需多智能体演示即可生成多智能体行为

Coordinated Diffusion: Generating Multi-Agent Behavior Without Multi-Agent Demonstrations

由生成模型驱动的模仿学习已被证明能有效建模复杂单智能体行为。然而，通过模仿学习教授多智能体系统（如多机械臂或多车辆）协调行为时，存在根本性的数据瓶颈：由于联合状态-动作空间随智能体数量呈指数增长，收集足够数量的协调多智能体演示数据变得极其昂贵。本研究提出：如何利用单智能体演示数据学习多智能体策略？我们提出协调扩散（CoDi）框架——该框架通过用户定义的多智能体代价函数耦合独立训练的单智能体扩散策略，且无需任何协调演示数据。我们推导出一种新的基于扩散的采样方案，其中扩散分数函数分解为独立单智能体预训练基础策略与代价驱动引导项的组合，后者可将这些基础策略协调为一致的多智能体行为。我们证明该引导项可通过无梯度方式估计，使CoDi可应用于无需额外训练的黑箱、不可微代价函数。我们从理论与实证角度分析这种组合能忠实近似目标多智能体行为的条件，揭示演示数据与代价函数的互补作用：单智能体演示必须覆盖所需多智能体行为的支撑集，而代价函数需从单智能体策略的乘积空间促进所需行为。在双机械臂操作任务的仿真与硬件实验中，我们的结果表明CoDi能从单智能体数据中发现稳健的协调行为，比多智能体基线方法更具数据效率，并突显了联合引导、基础策略支撑与代价函数设计的重要性。