Neural Exec: Learning (and Learning from) Execution Triggers for Prompt Injection Attacks
研究背景
本研究探讨了大型语言模型（LLMs）在面临提示注入攻击（Prompt Injection Attacks）时的安全性问题。随着LLMs在各种应用中的广泛集成，它们成为了新的安全挑战和攻击向量的来源。特别是在提示注入攻击中，攻击者通过在模型的输入中注入恶意字符串来操纵模型行为，使其偏离原有任务，执行对攻击者有利的动作。这种攻击方式不仅能够获取未授权的访问权限，甚至可能导致远程代码执行。
过去方案和缺点
以往的研究主要依赖于手工制作的字符串（例如，“忽略之前的指令并...”）来实现攻击。这些手工制作的执行触发器（execution triggers）通常基于模型的常识逻辑，通过创建空间分隔和使用常见的字符分隔符来逃避模型的数据处理。然而，这种方法存在局限性，因为它依赖于对模型行为的直观理解，并且容易受到基于黑名单的检测和消毒方法的拦截。
本文方案和步骤
研究者提出了一种新的执行触发器家族，称为Neural Exec，它将创建执行触发器的过程视为一个可微搜索问题，并使用基于优化的方法自动生成它们。这种方法避免了手动工程的需要，并且能够发现在LLM输入空间中有效的执行触发器的合适组合。研究者还展示了如何通过优化过程引入特定的偏见，以生成具有特定属性和功能的触发器。
本文创新点与贡献
正式化了提示注入攻击中的执行触发器概念，并提供了第一个优化框架来建模和自动生成它们。
引入了提示注入攻击的预处理鲁棒性概念，并生成了第一代展示这种属性的触发器。
基于生成的执行触发器，得出了关于提示注入漏洞的新颖且可推广的见解。
本文实验
实验部分评估了Neural Exec触发器在多个开源LLM上的性能，包括llama-2-7B-chat、Mistral-instruction-7B、OpenChat3.5和Mixtral-8x7B。实验结果显示，与手工制作的触发器相比，Neural Exec触发器在执行攻击时至少有两倍的效果提升。此外，实验还探讨了Neural Exec触发器的可迁移性，即它们在不同LLM上的通用性。
实验结论
实验结果表明，Neural Exec触发器在执行提示注入攻击方面比现有的手工制作触发器更有效，且具有显著的形状、属性和功能灵活性。这些触发器能够通过多阶段预处理管道，如基于检索增强生成（RAG）的应用程序，并且能够显著规避现有的黑名单检测和消毒方法。
全文结论
本文通过引入Neural Exec，展示了一种新的、基于优化的方法来生成提示注入攻击的执行触发器。这种方法不仅提高了攻击的有效性，而且增加了攻击的不可预测性和多样性，从而对现有的防御措施提出了挑战。研究者希望这种方法能够促进新一代的通用和鲁棒的防御技术的发展，以抵御提示注入攻击。
注：
本文提出的攻击方法，即Neural Exec，是一种实时的、基于优化的执行触发器生成方法。这种方法利用了大型语言模型（LLM）的可微分特性，将执行触发器的生成问题转化为一个可微搜索问题。通过这种方式，攻击者可以实时地发现并生成有效的执行触发器，而无需手动进行试错或依赖预先定义的攻击模式。
具体来说，Neural Exec通过以下步骤实现实时攻击：
定义目标函数：首先，定义一个目标函数，该函数能够衡量LLM在给定输入提示下生成的输出与期望的恶意负载（payload）的匹配程度。这个目标函数是可微分的，允许使用基于梯度的优化算法来搜索最佳的执行触发器。
优化过程：使用如Greedy Coordinate Gradient（GCG）算法等高效的离散优化技术，根据目标函数的梯度信息逐步调整执行触发器的候选序列。这个过程是迭代的，每次迭代都会生成新的候选触发器，并评估其有效性。
生成执行触发器：在优化过程中，算法会不断调整执行触发器的组成，直到找到一个能够有效地使LLM执行恶意负载的触发器。这个过程是实时的，因为优化算法可以根据实时反馈快速调整搜索方向。
攻击执行：一旦找到了有效的执行触发器，攻击者就可以将其注入到LLM的输入中，实时地操纵模型的行为。由于这些触发器是通过优化过程实时生成的，它们能够适应模型的当前状态和可能的预处理操作。
Neural Exec的实时性体现在其能够根据LLM的当前行为和预处理流程动态生成执行触发器，从而在不断变化的环境中保持攻击的有效性。这种方法的灵活性和适应性使得传统的基于黑名单或静态规则的防御措施更加难以应对。
阅读总结报告
本研究提出了一种新的针对大型语言模型的提示注入攻击方法，通过优化技术自动生成执行触发器，显著提高了攻击的有效性和鲁棒性。Neural Exec触发器的设计不仅避免了手动工程的繁琐，还能够适应复杂的预处理流程，使其在实际应用中更难被检测和防御。这项工作强调了LLM集成应用面临的安全挑战，并为未来开发更有效的防御策略提供了新的视角和工具。
Last updated
