> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-defense/autodefense-multi-agent-llm-defense-against-jailbreak-attacks.md). # AutoDefense: Multi-Agent LLM Defense against Jailbreak Attacks
## 研究背景 随着大型语言模型（LLMs）在各种任务中展现出卓越的能力，它们在道德对齐方面的脆弱性也引起了严重的关注。尽管LLMs在预训练和微调过程中进行了广泛的道德对齐，以防止在用户请求下生成有害信息，但它们仍然容易受到所谓的“越狱攻击”（jailbreak attacks）。这些攻击通过特定的提示（prompts）设计，诱使经过安全训练的LLMs产生不期望的有害行为。因此，开发能够有效防御越狱攻击的方法，同时保持对正常用户请求的性能，成为了一个迫切的需求。 ## 过去方案和缺点 以往的防御方法主要分为基于提示（prompt-based）和基于响应（response-based）的防御。基于提示的防御，如System-Mode Self-Reminder和IAPrompt，通过设计特殊的提示来提醒LLM不要生成有害或误导性内容。然而，这些方法通过改变用户提示来控制响应生成过程，可能会导致正常用户请求的响应质量下降。基于响应的防御方法首先将输入提示输入到LLM中以生成响应，然后评估响应是否有害。但这些方法对输入提示敏感，面对某些恶意提示可能会失败，同时也会因为修改原始用户提示而影响模型质量。
## 本文方案和步骤 本文提出了AutoDefense，一个基于响应过滤的多智能体防御框架，用于过滤LLMs的有害响应。该框架将不同的角色分配给LLM代理，并利用它们协作完成防御任务。通过任务分工，增强了LLMs的整体指令遵循能力，并使得其他防御组件能够作为工具集成进来。AutoDefense能够适应各种规模和类型的开源LLMs，这些LLMs作为代理参与防御。 AutoDefense的防御流程包括三个步骤： 1. 意图分析：分析给定内容背后的意图。 2. 提示推断：推断可能导致给定输出的原始提示。 3. 最终判断：基于分析的意图和原始提示，对系统输入内容的有效性进行判断。 ## 本文创新点与贡献 AutoDefense的主要创新点在于其多智能体框架设计，它通过分配不同的角色给LLM代理，使得每个代理能够专注于防御策略的特定部分。这种集体努力确保了防御系统能够公正地判断内容是否符合人类价值观并适合呈现给用户。此外，AutoDefense作为一个通用框架，能够灵活地集成其他防御方法作为代理，使其易于利用现有的防御。本文的实验结果表明，AutoDefense在降低越狱攻击的成功率（ASR）的同时，保持了对安全内容的低误报率（FPR），突显了框架在不损害LLMs常规用户请求的实用性的情况下，识别和防护恶意意图的能力。 ## 本文实验 实验在大量有害和安全提示上进行了广泛的测试，验证了AutoDefense在提高对越狱攻击的鲁棒性方面的有效性。实验结果显示，AutoDefense的多智能体框架在减少越狱尝试的ASR方面显著优于现有方法，同时在安全内容上保持了低FPR。通过在不同的LLMs上实验不同的代理配置，发现使用成本低廉、推理速度快的LLaMA-2-13b模型的AutoDefense能够持续地实现有竞争力的防御性能。 ## 实验结论 实验结果表明，AutoDefense通过多智能体系统显著降低了越狱攻击的成功率，同时保持了对安全内容的低误报率。这表明AutoDefense在防御LLMs免受越狱攻击方面是有效的，并且能够灵活地在各种LLMs上工作，集成其他防御组件。 ## 全文结论 本文提出的AutoDefense框架为防御LLMs免受越狱攻击提供了一种有效的多智能体方法。通过响应过滤机制和角色分配，AutoDefense不仅提高了对攻击的鲁棒性，而且保持了对正常用户请求的性能。此外，AutoDefense的灵活性允许集成其他防御方法，使其成为一个有前景的防御框架。 ## 阅读总结报告 本篇论文提出了一个新的多智能体防御框架AutoDefense，旨在保护大型语言模型（LLMs）免受越狱攻击的影响。在详细分析了LLMs面临的安全挑战和现有防御方法的局限性之后，作者提出了一个创新的解决方案，通过多智能体协作和响应过滤来提高LLMs的安全性。 AutoDefense框架的核心在于将防御任务划分为多个子任务，并分配给不同的LLM代理来完成。这种方法不仅提高了LLMs遵循指令的能力，还允许集成其他防御组件作为工具。实验结果表明，AutoDefense能够有效地降低越狱攻击的成功率，同时保持对安全内容的低误报率。 总的来说，AutoDefense为LLMs的安全性提供了一种新的视角和方法，其多智能体和响应过滤的机制为防御越狱攻击提供了有效的策略。这项工作不仅对提高LLMs的安全性具有重要意义，而且对于推动多智能体系统和人工智能安全研究的发展也具有潜在的贡献。