该论文旨在解决在数据受限和嵌入式部署需求下,合成数据用于从仿真到现实(sim-to-real)迁移在目标检测任务中的有效性问题。研究背景是农业自动化中水果检测需要大量标注数据,而真实数据获取和标注成本高昂,同时模型需要在嵌入式设备上实时运行。
论文使用了以下具体方法:
- 在NVIDIA Isaac Sim仿真环境中生成合成数据集。
- 将合成数据与有限的真实水果图像结合,采用三种训练策略:仅真实数据(real-only)、仅合成数据(synthetic-only)和混合数据(hybrid)训练基于YOLO的目标检测模型。
- 在两个测试集上评估性能:与训练数据条件匹配的域内(in-domain)数据集,以及包含不同背景条件的真实水果域偏移(domain shift)数据集。
- 将训练好的模型通过TensorRT优化部署在Jetson Orin NX嵌入式平台上,评估实时推理性能。
论文的核心创新点在于:
- 系统性地量化评估了在数据受限场景下,合成数据用于仿真到现实迁移对目标检测模型性能的影响,特别是在域内和域偏移两种测试条件下的表现差异。
- 提出了混合训练策略,证明即使使用少量真实数据与合成数据结合,也能达到接近仅用真实数据训练的性能,同时大幅减少人工标注需求。
- 将仿真数据生成、模型训练与嵌入式部署(通过TensorRT优化)的全流程在一个实际应用案例(水果检测)中集成并验证,强调了部署约束与检测精度需同时考虑。
论文对该领域的总体贡献包括:
- 实证表明在数据受限条件下,合成数据与少量真实数据混合使用是最有效的策略,为仿真到现实迁移提供了实用指南。
- 揭示了在域偏移条件下,混合训练模型能提供更好的鲁棒性(robustness),这对实际应用中的环境变化具有重要意义。
- 展示了从合成数据生成到嵌入式实时部署的完整技术链路可行性,为农业自动化等领域的实际应用提供了可复现的范例。
- 强调了在评估仿真到现实迁移时,除了检测精度,还必须考虑部署约束(如实时性、嵌入式平台资源限制)的重要性。