基于Sobolev训练的扩散策略加速轨迹优化

Accelerating trajectory optimization with Sobolev-trained diffusion policies

轨迹优化（TO）求解器利用已知的系统动力学，通过迭代改进计算局部最优轨迹。其缺点在于每个新问题实例都是独立求解的；因此，收敛速度和所得解的质量取决于初始轨迹的设定。为提高效率，一种自然的方法是利用学习策略生成的初始猜测来预热启动TO，该策略通过求解器先前生成的轨迹进行训练。基于扩散的策略最近已成为表达能力强的模仿学习模型，使其在这一角色中展现出潜力。然而，一个反直觉的挑战来自TO演示的局部最优性：当策略展开时，微小的非最优偏差可能将其推入训练数据中未涵盖的情况，从而在长时域内引发累积误差。在本研究中，我们专注于基于梯度的TO求解器的学习型预热启动，这些求解器同时提供反馈增益。利用这一特性，我们推导了一种基于扩散策略的索博列夫学习的一阶损失函数，该函数同时使用轨迹和反馈增益。通过全面的实验，我们证明所得策略能够避免累积误差，因此能够从极少量轨迹中学习，提供初始猜测，将求解时间减少2倍至20倍。结合一阶信息使得预测所需的扩散步骤更少，从而降低了推理延迟。