用于真实-合成协同训练的闭环动态驾驶数据混合

Closed Loop Dynamic Driving Data Mixture for Real-Synthetic Co-Training

数据缩放是现代深度学习的基础，随着自动驾驶转向端到端学习，其重要性日益凸显。现实世界的驾驶数据标注成本高昂且存在场景偏差，因此利用近乎无限合成数据进行真实-合成协同训练成为一个有前景的方向。然而，简单地将所有可用合成数据纳入训练既低效又会导致分布偏移，而在实际训练预算下优化数据混合仍然是一个关键但尚未充分探索的问题。基于此，我们认为训练数据的混合需要在场景类型和数量方面得到清晰指导。具体而言，本研究将数据混合概念近似为一个动态优化过程，该过程通过闭环评估反馈迭代调整训练数据混合以最大化模型性能，并提出了AutoScale——一个完全自动化的闭环数据引擎，统一了场景表示、数据混合优化与检索以及模型训练与评估。我们提出了面向驾驶场景表示的图正则化自编码器（Graph-RAE）、用于聚类级重要性估计与权重重分配的聚类感知梯度上升（Cluster-GA），并实施聚类引导的向量检索以选择高价值样本。在NavSim上的实验表明，AutoScale优于原始协同训练和跨域基线方法，在有限预算下使用更少的合成样本实现了更优性能。