← 返回论文列表

GCImOpt: 通过模仿最优轨迹学习高效的目标条件策略
GCImOpt: Learning efficient goal-conditioned policies by imitating optimal trajectories

作者: Jon Goikoetxea, Jesús F. Palacián
arXiv: 2604.22724v1
分类: cs.RO, eess.SY
📝 论文摘要
模仿学习是一种成熟的基于机器学习的控制方法。然而，其适用性依赖于示范数据的可获取性，而这些数据往往收集成本高昂和/或在解决任务时并非最优。在本工作中，我们提出GCImOpt方法，通过使用轨迹优化生成的数据集进行训练，学习高效的目标条件策略。我们的数据集生成方法计算高效，可在笔记本电脑上数分钟内生成数千条最优轨迹，并产生高质量的示范数据。此外，通过将中间状态视为目标的数据增强方案，我们能够将训练数据集规模提升一个数量级。利用生成的数据集，我们训练了能够控制系统朝向任意目标的目标条件神经网络策略。为展示方法的普适性，我们针对多种控制任务生成数据集并训练策略，包括推车-摆杆稳定、平面与三维四旋翼稳定，以及使用六自由度机械臂进行目标点到达。实验表明，我们训练的策略能够实现高成功率和近最优的控制曲线，同时网络规模小巧（少于8万个神经网络参数），且运行速度足够快（比轨迹优化求解器快多达6000倍以上），可部署于资源受限的控制器中。我们以自由软件许可形式提供视频、代码、数据集和预训练策略；详见项目网站 https://jongoiko.github.io/gcimopt/。

📊 核心分析

🎯 研究动机
- 现有的**模仿学习(imitation learning)**方法依赖高质量演示数据，但获取这些数据成本高昂且往往次优 - 目标条件策略学习需要大量覆盖各种目标的训练样本，传统方法难以高效生成 - 轨迹优化虽然能产生最优解，但计算开销大，难以直接用于实时控制或大规模数据生成
🔧 核心方法
- 提出**GCImOpt**方法，通过高效的轨迹优化算法在笔记本电脑上几分钟内生成数千条最优轨迹作为训练数据集 - 设计**数据增强(data augmentation)**方案，将轨迹中的中间状态视为新的目标，从而将训练数据集规模扩大一个数量级 - 使用生成的增强数据集训练**目标条件神经网络策略(goal-conditioned neural network policy)**，输出控制动作以实现任意目标
💡 核心创新
- **高效数据集生成**：首次将轨迹优化与数据增强结合，在计算资源受限环境下快速产出大量高质量最优演示 - **中间状态作为目标的数据增强**：通过将轨迹中间状态重新标记为不同目标，显著提升数据多样性，使策略泛化到更多目标 - **轻量化策略部署**：训练出的神经网络参数少于8万，推理速度比轨迹优化求解器快6000倍以上，可直接部署于资源受限的嵌入式控制器
🏆 总体贡献
- 为**目标条件控制(goal-conditioned control)**领域提供了一种无需大量人工演示的可扩展学习框架 - 在多个典型控制任务（车杆稳定、无人机稳定、机器人臂操作）上验证了方法的高成功率和近似最优控制性能 - 开源了代码、数据集和预训练策略，促进了社区复现及在低成本硬件上的实际部署应用