基于Transformer的无人机顶置机械臂在飞行扰动下的元自适应波束搜索规划强化学习控制

Meta-Adaptive Beam Search Planning for Transformer-Based Reinforcement Learning Control of UAVs with Overhead Manipulators under Flight Disturbances

配备顶部机械臂的无人机在检测、维护及基于接触的交互方面展现出独特能力。然而，无人机本体与机械臂的运动紧密耦合，即使由风力或控制误差引起的微小姿态变化，也会使末端执行器偏离预定轨迹。这种耦合关系使得可靠轨迹跟踪变得困难，同时也限制了直接应用原本为固定基座机器人设计的基于学习的机械臂控制器。在我们的测试中，每当无人机机体出现漂移或快速姿态校正时，这些影响都会持续显现。 为解决这一问题，我们开发了一个基于强化学习（RL）的框架，采用Transformer架构的双深度Q学习（DDQN）算法。其核心思想是引入自适应波束搜索规划器，该规划器利用学习得到的评估器作为前向估计器，在候选控制序列上进行短时域波束搜索。这使得控制器能够通过模拟推演预测末端执行器的运动轨迹，而非直接在实体模型上执行动作，实现了软件在环（SITL）的控制方式。前瞻机制依赖于Transformer评估器对短时状态序列处理生成的价值估计，而DDQN主干网络则为保持学习过程稳定提供单步目标值。 在相同训练条件下对三自由度空中机械臂进行评估，所提出的元自适应规划器展现出最强的综合性能：奖励值提升10.2%，平均跟踪误差显著降低（从约6%降至3%），综合奖励-误差指标较DDQN基线提升29.6%。当无人机基座因外部干扰产生漂移时，相较于固定波束搜索和纯Transformer变体，我们的方法在跟踪目标末端轨迹时表现出更高的稳定性（能将跟踪误差维持在5厘米以内）。