← 返回论文列表

通过算法和超参数的SHAP分析增强机器人学中强化学习的泛化性
Enhancing RL Generalizability in Robotics through SHAP Analysis of Algorithms and Hyperparameters

作者: Lingxiao Kong, Cong Yang, Oya Deniz Beyan 等4人
arXiv: 2605.02867v1
分类: cs.LG, cs.AI, cs.RO
📝 论文摘要
尽管强化学习(RL)取得了显著进展,模型性能仍对算法和超参数配置高度敏感,而跨环境的泛化差距则使实际部署复杂化。虽然已有研究探讨了RL的泛化问题,但特定配置对泛化差距的相对贡献尚未被定量分解并系统性地用于配置选择。为解决这一局限,我们提出一种可解释框架,利用SHAP(沙普利加法解释)方法量化配置影响,评估RL在机器人环境中的性能。我们建立了将沙普利值与泛化能力联系的理论基础,通过实验分析配置影响模式,并引入SHAP引导的配置选择以增强泛化能力。研究结果揭示了不同算法和超参数的独特模式,且配置影响在不同任务与环境中保持一致。通过将这些见解应用于配置选择,我们提升了RL的泛化能力,并为实践者提供了可操作的指导。

📊 核心分析

🎯 研究动机
- 现有**强化学习(Reinforcement Learning, RL)** 模型对算法与超参数配置高度敏感,且跨环境的泛化差距阻碍机器人实际部署 - 已有工作研究RL泛化性,但未能**定量分解** 具体配置对泛化差距的贡献,也未系统性地利用这些贡献进行配置选择 - 研究背景:机器人任务要求RL模型在不同环境下稳定表现,但配置选择的经验性方法缺乏可解释性指导
🔧 核心方法
- 提出**可解释性框架(explainable framework)**,利用**沙普利加性解释(SHapley Additive exPlanations, SHAP)** 量化算法和超参数配置对RL性能的影响 - 建立**沙普利值(Shapley values)** 与泛化能力之间的**理论联系(theoretical foundation)** - 通过**经验分析(empirical analysis)** 揭示不同算法和超参数的配置影响模式 - 引入**SHAP引导的配置选择(SHAP-guided configuration selection)** 策略,以提升泛化性
💡 核心创新
- **首次** 将**SHAP值(Shapley values)** 用于定量分解RL配置对泛化差距的贡献,而非仅用于特征重要性分析 - **理论创新**:建立沙普利值与泛化性的形式化关联,为可解释配置选择提供理论支撑 - **模式发现**:揭示跨不同任务和环境中**一致的配置影响模式(consistent configuration impacts)**,支持配置迁移 - **实用性创新**:基于SHAP分析提供**可操作的指导(actionable guidance)**,帮助从业者选择泛化性更好的配置
🏆 总体贡献
- 为**RL泛化性(RL generalizability)** 研究提供了**可解释的分析范式(explainable analysis paradigm)**,量化了配置的贡献 - 通过SHAP引导的配置选择,在机器人环境中实现了**增强的泛化性能(enhanced generalization)** - 建立了**理论-经验-应用** 全链条框架,推动可解释RL在机器人领域的发展 - 为从业者提供**系统性的配置选择指南**,降低试错成本并提高部署可靠性