← 返回论文列表

基于神经倾斜的莱维过程驱动随机微分方程的变分推断
Variational Inference for Lévy Process-Driven SDEs via Neural Tilting

作者: Yaman Kindap, Manfred Opper, Benjamin Dupuis 等5人
arXiv: 2605.10934v1
分类: cs.LG, cs.AI, cs.CV, cs.RO, stat.ML
📝 论文摘要
模拟极端事件和重尾现象是构建金融、气候科学及安全关键型AI等领域可靠预测系统的核心。尽管Lévy过程为捕捉跳跃和重尾特性提供了天然数学框架,但现有方法对Lévy驱动随机微分方程的贝叶斯推断仍存在难以处理的问题:蒙特卡洛方法严谨但缺乏可扩展性,而神经变分推断方法虽高效却依赖无法刻画不连续性的高斯假设。我们通过引入用于Lévy驱动SDE变分推断的神经指数倾斜框架来解决这一矛盾。该方法利用神经网络对Lévy测度进行指数重加权,从而构建灵活的变分族。该参数化在保持计算可行性的同时保留了底层过程的跳跃结构。为实现高效推断,我们发展了二次神经参数化方案,可得到倾斜测度归一化常数的闭式解;针对稳定过程提出条件高斯表示以促进模拟;并设计对称性感知蒙特卡洛估计器以实现可扩展优化。实验表明,在基于高斯变分方法失效的场景中,该方法能准确捕捉跳跃动力学,在合成数据集和真实数据集上均实现可靠的贝叶斯后验推断。

📊 核心分析

🎯 研究动机
- 建模极端事件和重尾现象对于金融、气候科学和安全关键AI等领域至关重要,但现有方法存在瓶颈 - **Lévy过程(Lévy process)** 驱动的随机微分方程(SDE)的贝叶斯推断难以实现:蒙特卡洛方法严格但可扩展性差,神经变分推断方法高效但依赖高斯假设,无法捕捉跳跃和不连续性 - 研究背景:需要一种既能保留跳跃结构又具有计算可扩展性的变分推断方法
🔧 核心方法
- 提出**神经指数倾斜(neural exponential tilting)** 框架,通过神经网络对Lévy测度进行指数重加权,构建灵活的变分族 - 采用**二次神经参数化(quadratic neural parametrization)**,使倾斜测度的归一化常数有闭式解,保证计算可处理性 - 利用**稳定过程的条件高斯表示(conditional Gaussian representation)** 简化模拟,并设计**对称感知蒙特卡洛估计器(symmetry-aware Monte Carlo estimator)** 用于可扩展优化
💡 核心创新
- **保留跳跃结构**:首次将神经倾斜用于Lévy驱动SDE的变分推断,变分族通过重加权Lévy测度保持底层过程的跳跃特性,而非使用高斯近似 - **闭式归一化**:二次神经参数化使得倾斜测度的归一化常数可解析计算,避免数值积分开销 - **高效模拟与优化**:条件高斯表示实现稳定过程的可控模拟,对称感知估计器提升蒙特卡洛梯度估计的稳定性与可扩展性
🏆 总体贡献
- 提供了一种新颖的神经变分推断范式,弥合了蒙特卡洛方法的严格性与神经方法的高效性之间的鸿沟 - 在跳变和重尾场景中,相比基于高斯的变分方法显著提升了后验推断的准确性 - 在合成和真实数据集上验证了方法捕捉跳跃动态的能力,为极端事件建模提供了实用工具