← 返回论文列表

跨城镇梦境:CARLA中零样本保留城镇固定路线驾驶的语义展开与城镇对抗正则化
Dreaming Across Towns: Semantic Rollout and Town-Adversarial Regularization for Zero-Shot Held-Out-Town Fixed-Route Driving in CARLA

作者: Feeza Khan Khanzada, Jaerock Kwon
arXiv: 2604.27994v1
分类: cs.RO
📝 论文摘要
训练有素的驾驶代理在部署到未见过的环境中时,性能往往会下降。本文针对CARLA模拟器中该问题的一个刻意限定的实例展开研究:将闭环固定路线驾驶代理从Town05和Town06零样本迁移至未见过的Town03和Town04。通过将天气固定为ClearNoon并移除交通流和行人,本研究隔离了城镇结构变化的影响。我们基于Dreamer风格的潜在世界模型代理进行改进,并增加两种仅在训练中使用的辅助损失:沿想象轨迹进行的未来视觉语义嵌入多时域预测,以及对循环潜在状态语义投影施加的城镇对抗监督。因果上下文特征用于条件化语义轨迹预测器,而演员和评论家网络则保留标准控制特征。策略不接收导航指令、路线折线、目标姿态或地图输入;参考路线仅由环境用于奖励、进度、成功率和终止判定评估。在所有评估的保留城镇中,所提出的模型在包含的Dreamer系列方法中实现了最高的平均成功率。次要的安全性和车道保持指标在不同城镇间表现不一。这些结果支持一个有限结论:在此受控的固定天气CARLA环境中,语义轨迹监督结合城镇对抗正则化可改善保留城镇路线的平均完成率。

📊 核心分析

🎯 研究动机
- 学习型驾驶代理在**未见环境(unseen environments)** 中性能显著下降,限制了实际部署 - 已有**零样本迁移(zero-shot transfer)** 研究未有效隔离**结构偏移(structural town shift)** 问题,需一个可控场景进行分析 - 本研究聚焦**CARLA模拟器** 中从Town05/Town06迁移至未见Town03/Town04的**固定路线驾驶(fixed-route driving)**,固定天气并移除动态障碍物以排除干扰
🔧 核心方法
- 采用**Dreamer风格潜在世界模型(Dreamer-style latent world-model agent)** 作为基础结构 - 追加两种**训练时辅助损失(training-only auxiliary losses)**: - **多时间跨度语义展开预测(multi-horizon semantic rollout prediction)**:沿想象序列预测未来**视觉-语义嵌入(visual-semantic embeddings)** - **城镇对抗正则化(town-adversarial regularization)**:对循环潜在状态的**语义投影(semantic projection)** 施加对抗性监督 - 使用**因果上下文特征(causal context feature)** 条件化语义展开预测器,而**Actor与Critic** 保持标准控制特征,且策略不接收导航指令或地图输入
💡 核心创新
- **首次** 将**语义展开(semantic rollout)** 和**城镇对抗(town-adversarial)** 两个辅助损失结合应用于**零样本城镇迁移(zero-shot town transfer)**,无需目标城镇数据 - 通过**因果上下文特征(causal context feature)** 解耦语义预测与动作控制,使模型仅从环境奖励学习而无需显式路线信息 - 在**固定天气与无干扰设置** 下,该组合比现有**Dreamer族方法** 在未见城镇上取得更高平均成功率,验证了针对**结构偏移(structural shift)** 的正则化有效性
🏆 总体贡献
- 为**自动驾驶零样本迁移(zero-shot transfer)** 提供了一个严格隔离场景的实验范式,明确揭示了**城镇结构偏移** 的影响 - 提出的**语义展开+城镇对抗** 框架在**固定路线完成率(fixed-route completion)** 上达到**最高平均成功率(highest mean success rate)** - 推动了**世界模型(world model)** 在**领域泛化(domain generalization)** 中的应用,证明了**语义级辅助损失** 对迁移鲁棒性的积极作用