该论文旨在解决嵌入式视觉中视觉里程计(visual odometry, VO)在资源受限设备上的部署难题。研究背景是:
- 视觉里程计是许多嵌入式系统(如自主机器人、增强/虚拟现实可穿戴设备)的核心组件
- 现有最先进的基于事件(event-based)的VO算法(如DEVO)需要大量内存(733 MB)和计算资源(1550亿MAC/帧)
- 这些资源需求使得它们无法在超低功耗微控制器单元(microcontroller units, MCUs)上运行
论文采用以下技术方法:
- 设计了TinyDEVO深度学习模型,专门针对资源受限的微控制器单元优化
- 在超低功耗(ultra-low-power, ULP)的9核RISC-V微控制器上部署该模型
- 通过神经网络架构优化和超参数调优(hyperparameter tuning)来减少资源消耗
- 使用基于事件(event-based)的相机数据作为输入,这种相机对运动模糊和光照条件具有鲁棒性
论文的核心创新点包括:
- **首次在超低功耗微控制器上实现基于事件的视觉里程计管道**,这是该领域的突破性进展
- **极致的模型压缩与优化**:相比最先进的DEVO模型,将内存占用减少11.5倍(至63.8 MB),每帧操作数减少29.7倍(至52亿MAC/帧)
- **高效的硬件部署**:在9核RISC-V MCU上实现约1.2帧/秒的吞吐量,平均功耗仅86 mW
- **精度与效率的平衡**:在三个最先进数据集上保持平均轨迹误差27 cm,仅比DEVO高19 cm,实现了资源受限下的可接受精度
论文对该领域的整体贡献是:
- **技术可行性证明**:首次证明了在超低功耗设备上运行基于事件的视觉里程计管道的可行性
- **资源效率新标杆**:为资源受限设备上的VO系统设立了新的资源效率标准(内存、计算、功耗)
- **方法论贡献**:提供了一套针对MCU的深度学习模型优化和部署方法论
- **应用拓展**:为自主机器人、可穿戴设备等功率受限系统的实时VO应用开辟了新可能性