← 返回论文列表

基于动量的低排放交通信号控制奖励设计
Momentum Based Reward Design for Low Emission Traffic Signal Control

作者: Chinmay Mundane, Amith Manoharan, Arun Singh
arXiv: 2605.29693v1
分类: cs.LG, cs.RO
📝 论文摘要
城市交通拥堵是一个日益严重的全球性问题，显著增加了通勤时间并加剧了环境污染。传统的交通信号控制系统往往无法适应动态的交通状况。自适应交通信号控制能够在无需改变道路基础设施的情况下改善城市交通。深度强化学习在该任务中表现出色，但现有的基于延误和排队长度的奖励函数常导致短视或不稳定的策略。本文提出一种基于动量的奖励函数，旨在激励车辆持续移动，而非仅惩罚拥堵。该方法在SUMO（城市交通仿真）平台中，使用等待时间、排队长度、通行能力和二氧化碳排放等标准交通指标进行评估。结果表明，与基于延误或排队长度的奖励函数以及最大压力和LQF等经典控制器相比，所提出的奖励函数能够实现更优的通行能力与排放的权衡，并产生更稳定的学习行为。

📊 核心分析

🎯 研究动机
- 城市交通拥堵导致通勤时间长和环境污染，传统交通信号控制系统难以适应动态交通条件 - 现有**深度强化学习(DRL)** 方法使用基于**延迟(delay)** 或**队列(queue)** 的奖励函数，容易产生短视或不稳定的策略 - 需要一种能平衡**吞吐量(throughput)** 与**排放(emission)** 且学习更稳定的奖励设计
🔧 核心方法
- 提出**基于动量的奖励函数(Momentum-Based Reward Function, MBRF)**，鼓励车辆保持移动而非仅仅惩罚拥堵 - 在**SUMO(Simulation of Urban MObility)** 仿真环境中进行评估 - 与基于延迟的奖励、基于队列的奖励以及经典控制器**Max Pressure** 和**LQF** 进行对比 - 使用等待时间、队列长度、吞吐量和CO2排放等标准交通指标衡量性能
💡 核心创新
- **奖励设计创新**：引入**动量(momentum)** 概念，通过鼓励持续移动而非静态惩罚来引导策略优化 - **性能权衡**：相比现有延迟/队列奖励以及经典控制方法，实现更好的**吞吐量-排放权衡(throughput-emission trade-off)** - **学习稳定性**：表现出更稳定的学习行为，减少策略波动，提升训练收敛性
🏆 总体贡献
- 为**自适应交通信号控制(Adaptive Traffic Signal Control)** 提供了一种新颖的奖励函数范式，兼顾效率与环保 - 在仿真实验中验证了该方法在多个指标上优于现有DRL奖励及经典控制器 - 推动**深度强化学习(DRL)** 在智慧交通领域的实际应用，有助于减少城市交通排放