研究动机:
• 大型语言模型增强搜索引擎(LLMSEs)的出现整合了网络搜索与AI摘要能力,但其安全性尚未得到充分评估。
• 该论文旨在解决LLMSEs对黑帽搜索引擎优化(SEO)攻击的抵御能力问题,填补了这一新兴系统安全研究的空白。
核心方法:
• 对10个代表性LLMSE产品(如ChatGPT、Gemini)进行了首次系统性研究。
• 构建了SEO-Bench基准测试集,包含1000个真实世界的黑帽SEO网站。
• 评估了开源和闭源LLMSEs的防御能力,并提出了七种LLMSEO攻击策略进行测试。
核心创新点:
• 首次系统性地研究了针对LLMSEs的SEO攻击,揭示了传统SEO攻击在LLMSEs中99.78%的缓解率主要归功于检索(retrieval)阶段的过滤作用。
• 提出了创新的LLMSEO攻击策略,特别是重写查询填充(rewritten-query stuffing)和分段文本(segmented texts)技术,使操纵率相比基线翻倍。
• 发现了LLMSEs对传统SEO攻击具有强抵抗力,但对专门设计的LLMSEO攻击存在显著脆弱性。
总体贡献:
• 提供了LLMSE生态系统的首次深度安全分析,揭示了其安全特性与漏洞。
• 为构建更具韧性的AI驱动搜索系统提供了实用见解,并已向主要供应商负责任地披露了发现的问题。
• 建立的SEO-Bench基准和攻击策略为后续研究提供了重要工具和方法论基础。