自主水下导航强化学习中的任务特定子网络发现

Task-specific Subnetwork Discovery in Reinforcement Learning for Autonomous Underwater Navigation

自主水下航行器需在动态、不确定环境及有限感知条件下，以可解释方式自适应执行多项任务，而传统控制器难以应对此类挑战。这要求具备鲁棒性、泛化能力且内在可解释的控制策略，以实现可靠的长期监测。强化学习（尤其是多任务强化学习）通过利用共享表征实现跨任务与跨环境的高效自适应，克服了上述局限。然而，尽管此类策略在仿真与受控实验中展现出良好效果，其内部决策机制仍不透明，对智能体决策过程的认知有限，导致透明度、信任度及安全性方面的不足，阻碍了实际部署应用。当前对策略内部结构及任务特异性专化机制的理解仍十分薄弱。为填补这些空白，本研究在HoloOcean水下导航仿真器中，通过识别并比较负责不同物种导航任务的特异性子网络，分析了预训练多任务强化学习网络的内部结构。研究发现：在相关任务的上下文多任务强化学习场景中，网络仅使用约1.5%的权重区分不同任务，其中约85%的权重连接输入层中的上下文变量节点与下一隐藏层，凸显了上下文变量在此类场景中的关键作用。本方法揭示了共享与专化网络组件的结构特征，为基于上下文多任务强化学习的水下监测模型高效编辑、迁移学习及持续学习提供了理论支撑。