← 返回论文列表

揭示物理世界语义漏洞:红外视觉语言模型的通用对抗性补丁
Revealing Physical-World Semantic Vulnerabilities: Universal Adversarial Patches for Infrared Vision-Language Models

作者: Chengyin Hu, Yuxian Dong, Yikun Guo 等9人
arXiv: 2604.03117v1
分类: cs.CV
📝 论文摘要
红外视觉语言模型(IR-VLMs)已成为低能见度环境下多模态感知的重要范式,但其对抗攻击鲁棒性尚未得到充分探索。现有对抗补丁方法主要针对封闭场景的RGB模型设计,难以适应红外视觉语言模型开放语义理解与物理部署的需求。为此,我们提出通用曲网格补丁(UCGP)——首个面向红外视觉语言模型的通用物理对抗补丁框架。该框架通过曲网格参数化实现连续低频可部署补丁生成,结合表征驱动目标函数促进子空间偏离、拓扑破坏与隐蔽性。为增强现实部署与域偏移下的鲁棒性,我们进一步引入元差分进化算法与EOT增强的薄板样条变形建模。UCGP不依赖标签或提示词操纵,而是直接破坏视觉表征空间以削弱跨模态语义对齐。大量实验表明,UCGP能在保持跨模型可迁移性、跨数据集泛化性、现实物理有效性和防御鲁棒性的同时,持续破坏不同架构红外视觉语言模型的语义理解能力。这些发现揭示了当前红外多模态系统中长期被忽视的鲁棒性漏洞。

📊 核心分析

🎯 研究动机
该论文旨在解决红外视觉语言模型(Infrared Vision-Language Models, IR-VLMs)在物理世界中的语义安全性问题。研究背景是:IR-VLMs在低能见度环境的多模态感知中前景广阔,但其对抗攻击鲁棒性尚未被充分探索。现有对抗补丁(adversarial patch)方法主要针对基于RGB的模型和封闭集(closed-set)场景设计,难以直接适用于IR-VLMs的开放式语义理解和物理部署需求。
🔧 核心方法
论文提出了一个名为通用曲网格补丁(Universal Curved-Grid Patch, UCGP)的通用物理对抗补丁框架。其核心技术包括: - 使用曲网格网格(Curved-Grid Mesh, CGM)参数化方法,生成连续、低频且可部署的补丁。 - 采用统一表示驱动目标(unified representation-driven objective),促进子空间偏离(subspace departure)、拓扑破坏(topology disruption)和隐蔽性(stealth)。 - 为提升现实部署和域偏移(domain shift)下的鲁棒性,进一步整合了元差分进化(Meta Differential Evolution)和EOT增强的薄板样条(Thin Plate Spline, TPS)变形建模。
💡 核心创新
论文的核心创新点在于: - **首创针对IR-VLMs的通用物理对抗攻击框架**:与现有主要针对RGB模型和封闭集任务的方法不同,UCGP专门针对红外多模态模型的开放式语义理解和物理世界部署特性设计。 - **新颖的攻击机制**:不直接操纵标签(labels)或提示词(prompts),而是通过直接破坏视觉表示空间(visual representation space)来削弱跨模态语义对齐(cross-modal semantic alignment),这是一种更根本的攻击路径。 - **集成的鲁棒性增强技术**:将CGM参数化、元差分进化与EOT增强的TPS变形建模相结合,确保了生成的对抗补丁在物理世界变化(如视角、距离、变形)和跨模型、跨数据集场景下的有效性和可迁移性(transferability)。
🏆 总体贡献
论文对该领域的总体贡献是: - **揭示了新的安全漏洞**:通过UCGP框架,系统性地揭示了当前红外多模态系统存在先前被忽视的鲁棒性脆弱性(robustness vulnerability)。 - **提供了有效的攻击基准**:UCGP被证明能持续破坏多种IR-VLM架构的语义理解能力,同时保持了跨模型可迁移性(cross-model transferability)、跨数据集泛化能力(cross-dataset generalization)、现实物理有效性(real-world physical effectiveness)以及对防御措施的鲁棒性(robustness against defenses)。 - **推动了安全研究**:该工作为评估和提升IR-VLMs在安全关键应用(如自动驾驶、安防监控)中的物理世界鲁棒性提供了重要的研究基础和攻击范例。