学习控制策略以可证明地满足黑箱混合动力系统的硬仿射约束

Learning Control Policies to Provably Satisfy Hard Affine Constraints for Black-Box Hybrid Dynamical Systems

确保黑箱混合动态系统的安全性面临显著挑战，因其存在瞬时状态跳变和未知的非线性显式动力学。现有的严格安全约束满足解决方案（如控制障碍函数和可达性分析）依赖于对动力学的直接认知。类似地，安全强化学习方法通常依赖于已知的系统动力学，或仅通过奖励塑造来抑制安全违规行为。本研究旨在学习一种强化学习策略，该策略在闭环条件下可证明地满足带有仿射重置映射的黑箱混合动态系统中的仿射状态约束。我们的核心思路是：迫使强化学习策略在系统未知非线性动力学的约束边界附近呈现仿射且排斥的特性，从而保证轨迹不会违反约束。针对混合系统中因碰撞或重置映射导致的瞬时状态跳变可能引发的约束违反问题，我们通过在重置前引入第二个排斥仿射区域，防止重置后的状态违反约束。我们推导了这些策略在闭环中满足安全约束的充分条件，并在混合动态系统（如受限摆锤和球拍杂耍环境）中将我们的方法与最先进的奖励塑造和学习的CBF方法进行了比较。在这两种场景下，我们的方法在始终满足安全约束的同时，能够学习到更高质量的策略。