• 解决基于学习的控制方法通常假设系统动态是平稳的(stationary)的问题，该假设在现实世界中常因漂移(drift)、磨损或运行条件变化而被违反。
• 研究背景是：在动态随时间变化(time-varying)的情况下进行强化学习控制，考虑一个持续(continual)的、基于模型的强化学习场景，其中智能体反复学习和控制一个其转移动态(transition dynamics)在多个回合(episodes)中演化的动态系统。
• 使用基于高斯过程(Gaussian Process)的动态模型对问题进行理论分析，并在频率学派(frequentist)的变分预算(variation-budget)假设下进行。
• 提出一种实用的、基于乐观(optimistic)模型的强化学习算法，该算法包含自适应数据缓冲区(adaptive data buffer)机制，以限制过时数据(outdated data)的影响。
• **核心理论洞察**：明确指出持续的非平稳性(persistent non-stationarity)要求必须显式地限制过时数据的影响，以维持校准的不确定性(calibrated uncertainty)和有意义的动态遗憾(dynamic regret)保证。这是对传统平稳假设下方法的根本性挑战。
• **算法创新**：将上述理论洞察转化为实践，设计了具有自适应数据缓冲区机制的乐观模型强化学习算法。该机制能主动管理历史数据，动态地丢弃或减弱与当前动态模型不相关的旧数据，从而在非平稳环境中实现更优的性能。
• **问题设定**：在持续学习(continual learning)和变分预算框架下，形式化地研究了动态随时间变化的基于模型的强化学习问题，为分析此类问题提供了新的理论框架。
• **理论贡献**：在频率学派的变分预算假设下，分析了非平稳动态对基于高斯过程的模型强化学习的影响，揭示了过时数据对不确定性校准和遗憾界的危害，并提供了相应的理论保证。
• **算法贡献**：提出了一种新颖的、实用的算法，通过自适应数据缓冲区机制有效应对动态变化，提升了在非平稳环境中的控制性能。
• **实证贡献**：在具有非平稳动态的连续控制基准测试(continuous control benchmarks)上验证了所提算法的优越性能，证明了其有效性。
• **领域贡献**：推动了强化学习在更符合现实（非平稳、持续变化）的系统动态设定下的研究，为实际应用（如机器人、工业控制）提供了更鲁棒的方法思路。