← 返回论文列表

Dream-MPC: 基于梯度的带潜在想象的模型预测控制
Dream-MPC: Gradient-Based Model Predictive Control with Latent Imagination

作者: Jonathan Spieler, Sven Behnke
arXiv: 2605.04568v1
分类: cs.LG, cs.AI, cs.RO
📝 论文摘要
最先进的基于模型的强化学习方法要么使用无梯度的、基于种群的规划方法，要么使用学习到的策略网络，或者结合策略网络和规划。混合方法将模型预测控制与学习模型及策略先验相结合，以利用两种范式的优势，已显示出有前景的结果。然而，这些方法通常依赖无梯度优化方法，对于高维控制任务而言计算成本高昂。尽管基于梯度的方法是一种有希望的替代方案，但近期研究实证表明，基于梯度的方法性能往往不如无梯度方法。我们提出Dream-MPC，一种新方法，从展开的策略中生成少量候选轨迹，并通过使用学习到的世界模型、不确定性正则化以及通过重用先前优化的动作来分摊优化迭代的时间，对每条轨迹进行梯度上升优化。我们在24个连续控制任务上的结果显示，Dream-MPC能显著提升底层策略的性能，并优于无梯度MPC及最先进的基线方法。我们将在 https://dream-mpc.github.io 开源代码及更多内容。

📊 核心分析

🎯 研究动机
- 现有**基于模型的强化学习(model-based RL)** 方法多依赖无梯度的、基于种群的规划或策略网络，**混合方法(Hybrid approaches)** 结合**模型预测控制(MPC)** 与策略先验，但仍使用无梯度优化，计算成本高 - 梯度优化方法虽具潜力，但已有实证表明其性能通常不如无梯度方法 - 目标：设计一种高效且性能优越的**梯度优化(gradient-based)** 规划方法，克服现有梯度方法在连续控制任务中的不足
🔧 核心方法
- 提出**Dream-MPC** 框架，从**策略网络(policy network)** 推出少量候选轨迹，对每条轨迹执行**梯度上升(gradient ascent)** 优化 - 使用**学习的世界模型(learned world model)** 进行轨迹预测，并引入**不确定性正则化(uncertainty regularization)** 以约束优化方向 - 通过**摊销优化迭代(amortization of optimization iterations)**，重用先前优化的动作作为初始化，跨时间步分摊计算成本
💡 核心创新
- **首创梯度优化的混合规划**：在MPC框架内首次将**梯度上升(gradient ascent)** 与策略推出的候选轨迹结合，替代传统无梯度方法 - **不确定性正则化(uncertainty regularization)**：在优化过程中显式考虑模型不确定性，提升梯度更新的鲁棒性 - **时间步上分摊迭代**：通过重用历史优化动作，减少每步计算量，实现高效在线规划
🏆 总体贡献
- 在**24个连续控制任务(continuous control tasks)** 上显著提升底层策略性能，超越**无梯度MPC(gradient-free MPC)** 及**最新基线(state-of-the-art baselines)** - 为基于模型的强化学习提供一种**高效梯度规划范式**，证明梯度方法在控制任务中的潜力 - 开源代码和项目网站，促进社区复现与后续研究