← 返回论文列表

基于合成数据的虚实融合果实检测:Isaac Sim平台下的量化评估与嵌入式部署
Sim-to-Real Fruit Detection Using Synthetic Data: Quantitative Evaluation and Embedded Deployment with Isaac Sim

作者: Martina Hutter-Mironovova
arXiv: 2603.28670v1
分类: cs.CV, cs.RO
📝 论文摘要
本研究探讨了在数据受限和嵌入式部署要求下,合成数据对于目标检测任务中仿真到现实迁移的有效性。通过在NVIDIA Isaac Sim中生成合成数据集,并结合有限的实际水果图像,分别采用纯真实数据、纯合成数据及混合数据三种模式训练基于YOLO的检测模型。性能评估在两个测试集上进行:一是与训练数据条件匹配的域内数据集,二是包含真实水果及不同背景条件的域偏移数据集。结果表明,仅使用真实数据训练的模型准确率最高,而纯合成模型因存在领域差距表现欠佳。混合训练策略相比纯合成方法显著提升性能,在减少人工标注需求的同时获得了接近纯真实训练的效果。在域偏移条件下,所有模型均出现性能下降,但混合模型展现出更强的鲁棒性。经过TensorRT优化的训练模型成功部署于Jetson Orin NX平台,实现了实时推理性能。研究结果强调,合成数据与真实数据结合使用时效果最佳,且部署约束条件需与检测精度同时纳入考量。

📊 核心分析

🎯 研究动机
该论文旨在解决在数据受限和嵌入式部署需求下,合成数据用于从仿真到现实(sim-to-real)迁移在目标检测任务中的有效性问题。研究背景是农业自动化中水果检测需要大量标注数据,而真实数据获取和标注成本高昂,同时模型需要在嵌入式设备上实时运行。
🔧 核心方法
论文使用了以下具体方法: - 在NVIDIA Isaac Sim仿真环境中生成合成数据集。 - 将合成数据与有限的真实水果图像结合,采用三种训练策略:仅真实数据(real-only)、仅合成数据(synthetic-only)和混合数据(hybrid)训练基于YOLO的目标检测模型。 - 在两个测试集上评估性能:与训练数据条件匹配的域内(in-domain)数据集,以及包含不同背景条件的真实水果域偏移(domain shift)数据集。 - 将训练好的模型通过TensorRT优化部署在Jetson Orin NX嵌入式平台上,评估实时推理性能。
💡 核心创新
论文的核心创新点在于: - 系统性地量化评估了在数据受限场景下,合成数据用于仿真到现实迁移对目标检测模型性能的影响,特别是在域内和域偏移两种测试条件下的表现差异。 - 提出了混合训练策略,证明即使使用少量真实数据与合成数据结合,也能达到接近仅用真实数据训练的性能,同时大幅减少人工标注需求。 - 将仿真数据生成、模型训练与嵌入式部署(通过TensorRT优化)的全流程在一个实际应用案例(水果检测)中集成并验证,强调了部署约束与检测精度需同时考虑。
🏆 总体贡献
论文对该领域的总体贡献包括: - 实证表明在数据受限条件下,合成数据与少量真实数据混合使用是最有效的策略,为仿真到现实迁移提供了实用指南。 - 揭示了在域偏移条件下,混合训练模型能提供更好的鲁棒性(robustness),这对实际应用中的环境变化具有重要意义。 - 展示了从合成数据生成到嵌入式实时部署的完整技术链路可行性,为农业自动化等领域的实际应用提供了可复现的范例。 - 强调了在评估仿真到现实迁移时,除了检测精度,还必须考虑部署约束(如实时性、嵌入式平台资源限制)的重要性。