> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-attack/weak-to-strong-jailbreaking-on-large-language-models.md).
# Weak-to-Strong Jailbreaking on Large Language Models
## 阅读总结报告
### 1. 研究背景
大型语言模型（LLMs）在提供广泛应用的同时，也引发了关于安全性和可信度的显著担忧。如果没有适当的安全措施，LLMs可能会导致传播虚假信息或协助犯罪活动等危害。为了减少风险，模型创建者实施了安全措施并广泛对模型进行对齐，以确保每次发布的模型都是有益的。然而，即使是最好的对齐机制和安全防护也可能无法完全防止恶意滥用。
### 2. 过去方案和缺点
以往的研究工作展示了通过人工编写的提示进行有针对性的操纵可以使看似有帮助的模型被“越狱”（jailbroken），但这种方法劳动密集且计算成本高。自动化的越狱攻击通常利用四个关键点：利用另一个LLM生成对抗性提示、通过反向传播进行对抗性提示搜索以触发不安全输出、进行对抗性微调以永久改变核心模型行为、以及在解码过程中进行对抗性解码。
### 3. 本文方案和步骤
文章提出了一种从弱到强的越狱攻击方法，这是一种有效的方法，可以利用两个较小的模型（一个安全和一个不安全）来对抗性地修改一个更大的安全模型的解码概率。该方法的关键在于利用较小的不安全模型来引导强大的安全LLM生成不期望的输出。
### 4. 本文创新点与贡献
* 识别了安全和不安全LLMs生成之间的统计差异。
* 提出了一种新的攻击方法，即从弱到强的越狱攻击，使用小型模型引导强大的LLM生成有害信息。这种方法在计算上是高效的，因为它只需要对目标模型进行一次前向传递。
* 在来自三个组织的5个LLM上的实验表明，该攻击方法在两个数据集上实现了超过99%的攻击成功率。
### 5. 本文实验
实验使用了两个基准数据集AdvBench和MaliciousInstruct来评估弱到强越狱攻击的有效性。结果表明，该攻击方法可以显著提高模型的不对齐率，并且从强大模型中生成的输出比弱模型的输出有害得多。
### 6. 实验结论
实验结果揭示了小型有害模型在对手手中的风险，特别是当对手可以使用这个小型模型来引导大型模型的行为时。此外，实验还表明，通过使用弱到强的越狱攻击，可以显著提高模型生成有害内容的能力。
### 7. 全文结论
本文通过提出弱到强的越狱攻击方法，揭示了开源LLMs在安全措施方面的重要漏洞。文章强烈鼓励社区努力改进开源LLMs的对齐，并减少它们的潜在滥用风险。未来的工作将探索更多的防御机制和越狱对LLMs的风险。
### 阅读总结
本文提出了一种新的攻击方法，即弱到强的越狱攻击，该方法能够有效地利用小型不安全模型来引导大型安全模型生成有害信息。这种方法的计算效率高，且不需要复杂的提示工程。文章的实验结果表明，这种方法能够在多个数据集上实现高攻击成功率，并且能够显著提高模型生成有害内容的能力。这些发现强调了在对齐大型语言模型时需要解决的紧迫安全问题，并为未来的安全改进提供了宝贵的见解。
