← 返回论文列表

TGIF2:扩展文本引导图像修复伪造数据集与基准测试
TGIF2: Extended Text-Guided Inpainting Forgery Dataset & Benchmark

作者: Hannes Mareen, Dimitrios Karageorgiou, Paschalis Giakoumoglou 等6人
arXiv: 2603.28613v1
分类: cs.CV, cs.AI, cs.CR, cs.MM
📝 论文摘要
生成式人工智能使文本引导修复成为强大的图像编辑工具,但同时也给媒体取证带来日益严峻的挑战。现有基准测试(包括我们提出的文本引导修复伪造数据集TGIF)表明:图像伪造定位方法能有效定位拼接图像中的篡改区域,却难以应对完全重生成图像;而合成图像检测方法虽能识别完全重生成图像,却无法实现篡改定位。随着新型生成式修复模型不断涌现,以及完全重生成图像的定位难题持续存在,我们需要更新的数据集与评估基准。本文推出TGIF的扩展版本TGIF2,该数据集涵盖文本引导修复技术的最新进展,支持对取证鲁棒性进行更深入分析。TGIF2在原始数据集基础上,新增了由FLUX.1模型生成的编辑图像以及随机非语义掩码图像。基于TGIF2数据集,我们开展了涵盖图像伪造定位与合成图像检测的取证评估,包括对完全重生成图像的定位方法微调实验及生成式超分辨率攻击测试。实验表明:现有图像伪造定位与合成图像检测方法在应对FLUX.1生成的篡改图像时性能均出现下降,凸显其泛化能力有限;虽然微调能提升对完全重生成图像的定位效果,但随机非语义掩码评估揭示了算法存在的物体偏见问题;此外,生成式超分辨率技术会显著削弱取证痕迹,证明常见的图像增强操作可能破坏现有取证流程。综上所述,TGIF2提供了更新的数据集与评估基准,为理解现代修复技术与基于人工智能的图像增强所带来的挑战提供了新视角。TGIF2数据集可通过https://github.com/IDLabMedia/tgif-dataset获取。

📊 核心分析

🎯 研究动机
该论文旨在解决生成式人工智能(Generative AI)带来的媒体取证(media forensics)新挑战。研究背景是:文本引导修复(text-guided inpainting)技术已成为强大的图像编辑工具,但现有基准测试(包括作者团队先前发布的TGIF数据集)表明: - 图像伪造定位(Image Forgery Localization, IFL)方法能定位拼接(spliced)图像中的篡改,但在完全重生成(Fully Regenerated, FR)图像上表现不佳 - 合成图像检测(Synthetic Image Detection, SID)方法能检测完全重生成图像,但无法进行定位 随着新生成修复模型的出现和FR图像定位问题的持续存在,需要更新的数据集和基准。
🔧 核心方法
论文提出了TGIF2数据集和基准测试框架,具体方法包括: - 扩展原始TGIF数据集,新增由FLUX.1模型生成的编辑图像 - 引入随机非语义(random non-semantic)掩码(mask)以分析模型偏差 - 进行全面的取证评估,涵盖IFL和SID方法 - 实验设计包括:在FR图像上微调(fine-tuning)IFL方法、生成式超分辨率(generative super-resolution)攻击测试
💡 核心创新
论文的核心创新点在于: 1. **数据集扩展创新**:首次将先进的FLUX.1生成模型纳入文本引导修复取证数据集,及时反映了生成技术的最新进展 2. **评估维度创新**:通过引入随机非语义掩码,首次系统揭示了现有IFL方法存在的物体偏差(object bias)问题——即模型更依赖语义内容而非真实篡改痕迹进行判断 3. **攻击场景创新**:首次系统评估了生成式超分辨率作为后处理攻击对取证方法的削弱效果,揭示了常见图像增强操作对当前取证流程的威胁 4. **基准统一性创新**:在同一个数据集框架下同时评估定位(IFL)和检测(SID)任务,提供了更全面的性能分析视角
🏆 总体贡献
论文对该领域的整体贡献包括: 1. **资源贡献**:发布了TGIF2扩展数据集和基准测试框架,为社区提供了评估现代修复模型取证挑战的标准化工具 2. **发现贡献**:实证揭示了当前取证方法的三大局限:对FLUX.1等新模型的泛化能力有限、存在物体偏差、易受生成式超分辨率攻击 3. **方法论贡献**:建立了包含随机非语义掩码测试和生成后处理攻击评估的综合性评估范式 4. **领域推动**:为开发更鲁棒的取证方法提供了明确的研究方向,强调了需要克服模型偏差和抵御AI增强操作的重要性