基本信息
原文标题：Hijacking Attacks against Retrieval-Augmented Large Language Models
原文作者：Yucheng Zhang, Qinfeng Li, Tianyu Du, Xuhong Zhang, Xinkui Zhao, Zhengwen Feng, Jianwei Yin
作者单位：浙江大学
关键词：检索增强型生成（RAG）、大语言模型（LLM）、安全攻击、HIJACKRAG、恶意注入
原文链接：https://arxiv.org/pdf/2410.22832
开源代码：暂无
论文要点
论文简介：这篇论文提出了一种新型的攻击方法，称为 HIJACKRAG，即检索增强型生成（RAG）系统的劫持攻击。RAG 系统通过将外部知识库与大语言模型（LLM）结合，解决了传统模型在生成问题时的局限性，提升了模型的适应性和效率。然而，这种增强型方法也带来了安全隐患，攻击者能够通过注入恶意文本来操控 RAG 系统的检索机制，进而影响模型的回答。论文通过提出 HIJACKRAG 攻击，并通过一系列实验验证了其在不同设置下的攻击效果，揭示了 RAG 系统的潜在安全漏洞。
研究目的：随着大语言模型（LLMs）被广泛应用于实际场景中，它们面临着诸如知识更新困难、过时信息依赖和误生成问题等挑战。检索增强型生成（RAG） 技术通过引入外部知识库，解决了这些问题，使得模型能够适应不同领域任务的需求。然而，这也带来了新的安全威胁。本文的目的是揭示并研究一种新型的安全攻击，即 HIJACKRAG 攻击，探讨其如何通过注入恶意文本操控 RAG 系统的检索机制，并且展示了该攻击的高效性、普适性和防御的不足。
研究贡献：
-
提出了 HIJACKRAG，一种新型的攻击方式，能通过注入恶意文本来操控 RAG 系统的检索机制，生成攻击者的预定答案。
-
实验结果表明，HIJACKRAG 相比现有的基线攻击方法，具有更高的成功率和更强的迁移性，能够跨不同检索模型有效传播。
-
探讨了多种防御策略，发现现有防御方法难以有效抵御此类攻击，强调了加强防护的迫切需求。
引言
随着像 GPT-4 和 LLaMA 这样的 大语言模型（LLMs） 的快速发展，这些模型在自然语言生成和推理任务中取得了突破性的成果。LLMs 可以生成流畅、自然的文本，解决从开放域问答到对话系统等各种任务。然而，尽管这些模型在多个领域取得了成功，它们依然存在一些限制：如知识更新困难、对训练数据的依赖以及对过时信息的依赖，导致生成的内容可能出现错误。此外，由于隐私保护等问题，某些专业领域（如医疗、法律）所需的专门知识并未充分覆盖，使得这些模型无法完全满足高精度的实际需求。
为了解决这些问题，检索增强型生成（RAG） 系统应运而生。RAG 系统通过集成外部知识库（如通过信息检索），增强了大语言模型的知识量和适应性。这种方法不仅能够动态更新知识库，还能大幅提升任务处理能力。RAG 系统的优势在于，它能够不依赖于传统的模型微调方式，快速扩展和调整模型的能力，在多个领域中得到广泛应用。
然而，随着 RAG 技术的普及，新的安全问题也随之而来。论文提出，RAG 系统的检索机制可能成为攻击者的目标，攻击者可以通过向知识库注入恶意文本，操控检索系统的输出，从而生成不符合实际需求的答案，这不仅影响了模型的准确性，还可能对系统的整体可靠性构成威胁。
研究背景
RAG 系统通过外部知识库补充了大语言模型的知识库，解决了传统生成模型在处理动态知识时的局限性。RAG 系统在 检索 和 生成 两个步骤中完成任务：在检索阶段，系统从大规模语料库中找到相关信息，通过计算查询与文本之间的相似度，选出最相关的文本；在生成阶段，系统结合检索到的文本内容，生成符合上下文的回答。
然而，RAG 系统的安全性问题日益突显。传统的 提示注入攻击（Prompt Injection Attack）通常针对语言模型本身进行攻击，但 RAG 系统通过结合外部检索机制，使得攻击者的攻击焦点转向了外部知识库。这种类型的攻击能够通过操控检索内容，影响模型生成的回答。因此，RAG 系统面临着来自于检索阶段的潜在威胁。
目前关于 RAG 系统的安全性研究较少，许多研究仅探讨了注入无关文本或误导性文本的攻击方式，尚未深入挖掘其背后的安全风险。本文填补了这一空白，提出了 HIJACKRAG 攻击，并进行了详细的实验验证。
问题表达
HIJACKRAG 攻击本质上是通过操控 RAG 系统的检索阶段，影响其输出的生成答案。攻击者通过在知识库中注入精心设计的恶意文本，使得当系统处理特定问题时，检索到的内容并不是正确的答案，而是攻击者预设的错误答案。这样，系统的生成结果就会被劫持，导致对用户提供的答案不可信，破坏系统的完整性。
这种攻击方式的威胁在于，它不仅能影响单一模型，还能跨不同检索模型传播，攻击者通过精细化的文本注入操控知识库的内容，能够灵活地控制多个系统的输出。因此，HIJACKRAG 成为 RAG 系统安全性中不可忽视的一大隐患。
HIJACKRAG 设计
HIJACKRAG 攻击的设计思路是通过向知识库注入恶意文本，攻击者能够操控 RAG 系统的检索过程，并使其返回特定的错误答案。攻击者首先设计一个目标问题，并根据目标问题准备一小段恶意文本。将这段文本注入到知识库后，当 RAG 系统在检索时遇到该问题时，系统便会检索到这些恶意文本，并生成攻击者预设的答案。
为了保证攻击的有效性，攻击者需要根据目标查询和预期答案来调整恶意文本，使其与查询之间具有较高的语义相似性。这种攻击策略可以根据攻击者对系统了解的程度分为 黑盒攻击 和 白盒攻击。白盒攻击方法可以根据模型的具体信息优化恶意文本的设计，从而提升攻击成功率。
研究实验
实验设置：论文选择了三个广泛使用的数据集：Natural Questions (NQ)、HotpotQA 和 MS-MARCO，每个数据集均选取了100个封闭型问题。这些问题的答案相对固定，有助于评估攻击的影响。实验中使用了不同的大语言模型（如 LLaMA2-13B、LLaMA3-8B、ChatGLM3-6B）以及检索模型（如 Contriever、Contriever-ms 和 ANCE）。对于每个检索模型，攻击者都精心设计了恶意文本，并对其效果进行了评估。
实验结果：实验结果显示，HIJACKRAG 攻击在不同的模型和数据集上表现出色。在 白盒设置 下，通过增强语义相似度，攻击成功率有所提高，但恶意文本的自然性稍显降低，影响了生成阶段的效果。在 黑盒设置 下，攻击成功率稍微降低，但依然保持较高的攻击效果。此外，HIJACKRAG 还展现了良好的跨模型迁移性，攻击者设计的恶意文本能够在不同的检索模型之间有效传播，进一步证明了该攻击方法的普适性和强大的攻击能力。
防御机制
论文探讨了两种主要的防御策略：释义（Paraphrasing） 和 上下文扩展（Contextual Expansion）。通过对查询进行释义，攻击者希望通过改变查询的结构来干扰恶意文本的检索。然而，实验表明，尽管释义方法可以略微降低攻击成功率，但仍无法有效防御 HIJACKRAG 攻击。
在对比实验中，释义 能够减少攻击成功率，但恶意文本仍然能够被检索到并影响生成结果。此外，增加检索文本的数量（上下文扩展）并未显著改善防御效果，表明单纯增加检索内容的做法对 HIJACKRAG 攻击无效。
论文结论
本文提出的 HIJACKRAG 攻击展示了 RAG 系统在处理外部检索库时的脆弱性。通过精心设计恶意文本并将其注入到知识库中，攻击者能够有效地操控 RAG 系统生成错误答案，破坏系统的完整性和可靠性。实验结果表明，该攻击方法不仅具备较强的攻击成功率，还具有广泛的迁移性，能够跨不同的模型进行有效传播。
尽管现有的防御机制（如释义和上下文扩展）能够略微减缓攻击效果，但依然无法彻底防止该攻击，说明 RAG 系统面临着巨大的安全挑战。因此，论文强调，亟需研发更强大的防御手段，以确保 RAG 系统在实际应用中的安全性和稳定性。
