> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-attack/bypassing-the-safety-training-of-open-source-llms-with-priming-attacks.md). # BYPASSING THE SAFETY TRAINING OF OPEN-SOURCE LLMS WITH PRIMING ATTACKS
## 研究背景 随着大型语言模型（LLMs）在用户面向型应用中的广泛使用，确保这些模型不被用于恶意目的变得尤为重要。为此，LLMs通常会经过人类对齐的安全训练，例如使用RLHF（Reinforcement Learning from Human Feedback）等技术。然而，尽管有这些努力，仍然存在绕过对齐以产生有害输出的可能性。 ## 过去方案和缺点 以往的研究主要集中在通过计算昂贵的方法来攻击对齐的LLMs，如通过精心选择的例子进行微调。这些方法虽然有效，但在开源环境中执行起来可能过于昂贵，并且可能比必要的成本更高。 ## 本文方案和步骤 本文提出了一种称为“priming attacks”的攻击方法，该方法利用LLMs的自回归性质，通过在输入中引入部分响应来实现有害请求。具体步骤包括： 1. 使用非安全训练的辅助LLM（helper LLM）通过几个例子（few-shot）来生成针对目标有害行为的priming攻击。 2. 通过将初始响应与手动制作的文本相结合，创建few-shot示例，这些文本以不完整的句子结尾，可能会合理地开始实际请求的内容。 3. 将生成的部分响应附加到输入中，以此引导LLM遵循有害提示。 ## 本文创新点与贡献 1. 构建了一个高效的流水线，用于自动评估针对开源LLMs的priming攻击。 2. 展示了与Zou et al. (2023)提出的基线相比，使用稍微依赖于提示的内容进行priming可以提高攻击成功率高达3.3倍。 3. 研究强调了对手可以轻易地诱导开源LLMs遵循任意有害请求，为开源LLMs的未来发展增加了新的视角。 ## 本文实验 实验使用预训练的Llama-2（7B）模型作为辅助LLM进行few-shot提示，使用Harmful Behaviors数据集的35个提示来创建few-shot示例，并使用剩余的20个提示作为验证数据。测试集包括485个Harmful Behaviors提示，攻击目标为安全训练的Llama-2和Vicuna聊天模型。 ## 实验结论 实验结果表明，priming攻击在不同的模型系列（Llama-2、Vicuna）和大小（7B、13B）上均优于基线。例如，在Llama-2 (7B)上，priming攻击相比于“Just Sure”攻击在Llama Guard下的攻击成功率提高了3.3倍。增加模型大小可以提高对priming攻击的安全性估计。 ## 全文结论 本文研究了针对最新安全训练LLMs的priming攻击的有效性，强调了在越来越实际的假设下当前LLM安全措施的脆弱性。作者认为这为开源LLMs的未来提出了重要的关注点，并希望本文的工作能够促进对更安全的开源方法的进一步研究。 ## 阅读总结报告 本论文探讨了开源大型语言模型（LLMs）在面对简单、无需优化的priming攻击时的脆弱性。这些攻击易于执行，并能有效绕过安全训练的对齐。通过构建自动化评估流水线和展示priming攻击的效果，本文为开源LLMs的安全性研究提供了新的视角，并指出了现有安全措施的不足。实验结果表明，即使是在模型大小增加的情况下，priming攻击仍然能够显著提高攻击成功率。这些发现对于开源LLMs的未来发展具有重要意义，并可能激发新的研究，以开发更安全的开源LLMs方法。