Jailbreaker in Jail: Moving Target Defense for Large Language Models

1. 研究背景

大型语言模型（LLMs）因其理解和遵循指令的能力而闻名，但它们容易受到对抗性攻击。研究人员发现，当前商业LLMs要么因提供不道德的答案而无法做到“无害”，要么因拒绝提供有意义的答案而无法做到“有帮助”。为了在有帮助和无害之间取得平衡，本文设计了一个增强的移动目标防御（MTD）LLM系统。该系统旨在提供符合多个模型候选输出的非有害答案，使其对抗性攻击更加稳健。

2. 过去方案和缺点

以往的LLMs（如InstructGPT和ChatGPT）通过微调语言模型以使其更紧密地符合用户需求，从而提高了模型的整体表现，使其成为一个“有帮助”的助手。然而，尽管以对齐为中心的训练改善了模型的整体行为，但这些模型仍然容易受到多种对抗性攻击。对抗性攻击旨在通过在测试阶段对供给目标模型的输入进行调整来操纵模型输出。此外，即使是在ChatGPT模型的August-3版本调整后，对于某些对抗性示例，它仍然会产生有害内容。

3. 本文方案和步骤

本文提出了第一个MTD增强的LLM系统，以对抗对抗性攻击。这种方法旨在生成不仅信息丰富且与用户交互一致，而且避免任何潜在伤害的响应。本文设计了一个查询和输出分析模型来过滤不安全或无响应的答案。通过随机选择过程，结合MTD策略，系统巧妙地呈现非有毒响应，同时保持与指令的强相关性。MTD增强的LLM系统利用一系列商业语言模型生成响应，使用响应评估模型从候选响应中随机选择。这种方法有效地缓解了LLM助手的两个目标之间的固有冲突——既要“有帮助”，又要“无害”。

4. 本文创新点与贡献

• 先锋集成：首次将移动目标防御策略与商业LLMs集成，提供了一个能够对抗最先进对抗性攻击的强大LLM系统。

• 响应选择模型：构建了一个模型，通过结合上下文随机性选择既“有帮助”又“无害”的响应。

• 广泛评估：对8个LLM模型的评估显示了MTD增强的LLM系统的效力，将对抗性攻击成功率从37.5%降低到0%，同时将响应查询的拒绝率从最高50%降低到0%。

5. 本文实验

为了全面评估所提出的防御机制对抗LLM-attacks生成的对抗性示例的有效性，本文对8个商业LLMs进行了广泛的实验。这些模型包括ChatGPT 3.5、ChatGPT 4、Google Bard、Anthropic以及不同平台上的多个Llama模型版本。实验结果表明，MTD增强的LLM系统在不牺牲未受污染输入的性能的情况下，成功地降低了攻击成功率和拒绝率。

6. 实验结论

实验结果显示，MTD增强的LLM系统能够有效地对抗对抗性攻击，同时提供有帮助且无害的响应。攻击成功率从37.5%降至0%，拒绝率从50%降至0%。这表明所提出的系统不仅增强了LLMs的安全性，而且通过提供连贯和上下文相关的响应，显著提高了整体用户体验。

7. 全文结论

本文介绍了一种新颖的解决方案来应对LLMs的对抗性攻击。MTD增强的LLM系统通过动态选择已知LLMs并利用查询分析来提供“有帮助”和“无害”的响应，确保了这些目标之间的微妙平衡。通过评估8个商业LLMs，所提出的方法被证明是有效的。攻击成功率从37.5%降至0%，拒绝率从50%降至0%。该系统将MTD与商业LLMs集成，将传统安全与现代语言模型协调一致。平衡安全性和有用性，所提出的方法承诺提供强大且可靠的语言模型助手。

注： MTD增强的LLM系统能够有效地对抗对抗性攻击，主要基于以下几个方面的原因：

1. 多模型响应集成： MTD增强的LLM系统不是依赖单一模型的输出，而是从多个不同的商业语言模型中收集响应。这样做的好处在于，即使攻击者针对某一特定模型设计了对抗性攻击，也很难同时破解多个模型的输出。通过集成多个模型的响应，系统能够提高其对攻击的抵抗力。

2. 动态随机选择： 系统采用随机选择机制来确定最终的响应。这意味着即使攻击者尝试预测或操纵系统的输出，由于随机性的存在，攻击者很难准确预测最终会选择哪个响应。这种随机性为系统提供了额外的安全层。

3. 查询和输出分析模型： MTD系统包含一个查询和输出分析模型，该模型能够评估和过滤不安全或无响应的答案。通过这种方式，系统可以自动识别并排除那些可能有害或不相关的响应，从而减少对抗性攻击成功的机会。

4. 平衡响应质量与安全性： 系统通过一个评估模型来确保所选响应既高质量又安全无害。评估模型结合了二元分类和BERT模型来评估响应的有用性和与问题的一致性。这种平衡确保了即使在对抗性攻击的环境下，系统也能够提供有帮助且无害的响应。

5. 降低攻击成功率和拒绝率： 实验结果显示，MTD增强的LLM系统能够将攻击成功率从37.5%降低到0%，同时将拒绝率从50%降低到0%。这表明系统在面对对抗性查询时，能够有效地防止有害内容的产生，并且不会拒绝用户的查询，从而提高了系统的鲁棒性和用户体验。

6. 持续的评估和改进： MTD系统的设计允许持续评估和改进。随着新的对抗性攻击手段的出现，系统可以不断地更新和调整其防御策略，以保持对新兴威胁的防御能力。

综上所述，MTD增强的LLM系统通过结合多个模型的输出、动态随机选择机制、高级的响应分析模型以及持续的评估和改进，有效地提高了对抗对抗性攻击的能力。这种综合性的方法不仅增强了系统的安全性，也提升了其在面对恶意输入时的稳定性和可靠性。

阅读总结

本文针对大型语言模型在面对对抗性攻击时的脆弱性，提出了一种基于移动目标防御（MTD）的增强系统。通过结合多个模型的响应，该系统能够有效地生成既符合用户需求又避免潜在伤害的答案。文章详细介绍了MTD增强系统的设计方案、步骤和评估方法，并通过实验验证了其有效性。实验结果表明，该系统在降低对抗性攻击成功率和拒绝率方面表现出色，为构建既有帮助又无害的LLM服务提供了新的视角和解决方案。这项工作不仅对提高LLMs的安全性具有重要意义，也为未来在机器学习即服务系统中结合传统安全防御方法与最新LLM模型的进步提供了宝贵的经验。