该论文旨在解决四旋翼无人机(quadrotor)基于学习(learning-based)的策略(policies)从仿真(simulation)到现实(reality)训练与迁移(transfer)的挑战。研究背景是现有方法存在视觉渲染(visual rendering)效率低、物理建模(physical modeling)不精确、传感器差异(sensor discrepancies)未建模,以及缺乏将可微分物理学习(differentiable physics learning)集成到端到端(end-to-end)训练的统一平台(unified platform),阻碍了策略的可复现性(reproducibility)和现实世界部署(real-world deployment)。
论文提出了一个名为E2E-Fly的集成框架(integrated framework),其核心方法包括:
- 构建一个包含高性能仿真器(high-performance simulator)的完整训练框架,该仿真器支持可微分物理学习(differentiable physics learning)和强化学习(reinforcement learning),并针对常见四旋翼任务设计了结构化奖励(structured reward design)。
- 采用两阶段验证策略(two-stage validation strategy):先进行仿真到仿真(sim-to-sim)迁移,再进行硬件在环(hardware-in-the-loop)测试。
- 通过专用的底层控制接口(low-level control interface)和一套全面的仿真到现实对齐(sim-to-real alignment)方法,将策略部署到两个物理四旋翼平台,该方法涵盖系统辨识(system identification)、领域随机化(domain randomization)、延迟补偿(latency compensation)和噪声建模(noise modeling)。
论文的核心创新点是:
- **首次系统性地将可微分物理学习(differentiable physics learning)与四旋翼无人机的训练、验证和现实世界部署流程统一起来**,构建了一个从训练到部署的完整、一体化(integrated)框架。
- 与现有工作相比,其独特之处在于提供了一个**系统化的、零样本(zero-shot)迁移管道(pipeline)**,解决了以往研究中缺乏统一平台和系统性部署流程的问题,从而显著提升了端到端策略从仿真到现实迁移的效率和可靠性。
论文对该领域的总体贡献是:
- 提出了E2E-Fly这一首个系统性整合了可微分物理学习、训练、验证和现实部署的完整框架,为端到端四旋翼自主控制(end-to-end quadrotor autonomy)研究提供了一个可复现的、实用的平台。
- 通过详细的仿真到现实对齐方法学(methodology)和两阶段验证策略,为学习型策略的高效、可靠现实部署提供了系统性的解决方案。
- 通过成功训练六个端到端控制任务并完成现实世界部署,实证了该框架的有效性,推动了端到端无人机自主控制从仿真到现实的落地应用。