← 返回论文列表

TIDES:基于可变形重建的时间导数事件模拟
TIDES: Time-Derivative Event Simulation via Deformable Reconstruction

作者: Christopher Thirgood, Dipon Kumar Ghosh, Simon Hadfield
arXiv: 2606.02058v1
分类: cs.CV, cs.RO
📝 论文摘要
事件相机通过感知环境外观变化发出异步事件。由于真实世界事件数据集的稀缺性,仿真技术变得至关重要。然而,大多数模拟器通过帧序列推断事件时间戳,导致大量阈值穿越事件共享少量离散时间点——我们将这种失效模式称为时间戳批处理,在快速运动和遮挡情况下会加剧这一问题。 我们提出TIDES——基于动态高斯泼溅构建的连续时间事件模拟器。由于TIDES采用具有可学习几何与运动特征的显式三维场景表征,它能够直接从场景中推导每个像素的强度动态,而非通过渲染帧差分实现。这使得我们可以精确预测阈值穿越事件(包括单次渲染步骤内的多次穿越),而无需时间上采样或帧插值。同一三维场景模型可揭示物体间的局部遮挡关系;TIDES利用该信息指导自适应时间步长,仅在遮挡动力学导致亮度变化简单模型不可靠的区域集中计算资源。 最后,我们采用瓦片级仲裁器模拟有限传感器带宽,其吞吐量、抖动与事件丢失特性可复现真实传感器伪影。在配对RGB-事件基准测试中,TIDES达到了事件流保真度的最优水平。我们同时证明,TIDES模拟的事件在真实下游任务中的迁移效果优于竞争方法。

📊 核心分析

🎯 研究动机
- 解决**事件相机(event camera)** 模拟中**时间戳批处理(timestamp batching)** 问题,即现有模拟器从帧序列推断事件时间戳导致多个阈值交叉共享少量离散时间 - 在**快速运动(fast motion)** 和**遮挡(occlusion)** 场景下,时间戳批处理问题严重恶化,模拟保真度下降 - 真实世界事件数据集稀缺,高效的**事件模拟(event simulation)** 对算法开发至关重要
🔧 核心方法
- 基于**动态高斯溅射(dynamic Gaussian splatting)** 构建连续时间模拟器**TIDES**,利用显式3D场景表示学习几何与运动 - 直接从场景推导**每像素强度动力学(per-pixel intensity dynamics)**,而非通过渲染帧差分,实现准确的**阈值交叉(threshold-crossing)** 预测(包括每步多次交叉) - 利用同一3D场景模型检测**部分遮挡(partial occlusion)**,指导**自适应时间步长(adaptive time stepping)**,仅在遮挡区域集中计算 - 使用**瓦片级仲裁器(tile-level arbiter)** 模拟有限**传感器带宽(sensor bandwidth)**,复现吞吐量、抖动与事件丢弃等真实伪影
💡 核心创新
- **首创连续时间模拟范式**:通过直接场景推导替代帧差分,彻底消除时间戳批处理,无需时间上采样或帧插值 - **遮挡感知自适应步长**:利用3D场景模型显式处理遮挡导致的亮度变化非线性,提升计算效率与精度 - **真实传感器带宽建模**:首次在事件模拟器中引入瓦片级仲裁器,产生逼真的传感器伪影(抖动、事件丢失) - **端到端学习**:动态高斯溅射场景表示可联合优化几何、运动与事件生成,区别于传统基于光流的模拟方法
🏆 总体贡献
- 在配对RGB-事件基准上达到**最先进(SOTA)** 的事件流保真度 - 通过**下游任务迁移实验** 证明TIDES模拟的事件比现有方法更有效地提升真实场景性能 - 为事件相机模拟领域提供了一种全新的**连续时间、场景驱动** 的范式,突破了帧间插值的局限 - 建模传感器物理限制提升了模拟的真实性,促进事件相机算法在实际系统中的应用