# Jailbreaker in Jail: Moving Target Defense for Large Language

## 阅读总结报告 ### 1. 研究背景大型语言模型（LLMs）在理解和遵循指令方面表现出色，但它们容易受到对抗性攻击。研究人员发现，现有的商业LLMs要么在面对对抗性查询时无法提供“无害”的答案，要么拒绝提供有意义的答案，这使得它们既不“有帮助”也不“无害”。为了在有帮助和无害之间取得平衡，本文设计了一个增强了移动目标防御（MTD）的LLM系统。

### 2. 过去方案和缺点过去的LLMs，如InstructGPT和ChatGPT，通过微调语言模型以更紧密地符合用户需求，提高了模型的整体表现。然而，尽管这些模型在对齐训练后有所改进，但它们仍然容易受到多种对抗性攻击。对抗性攻击旨在通过调整输入数据来操纵模型输出。此外，即使在ChatGPT模型的某些版本被调整为对某些对抗性示例提供拒绝回答后，它仍然能够产生有害内容。 ### 3. 本文方案和步骤本文提出了一个MTD增强的LLM系统，旨在提供与多个模型候选输出一致的非有害答案，从而更有效地抵御对抗性攻击。系统设计了一个查询和输出分析模型来过滤不安全或无响应的答案。该系统通过随机选择过程从候选响应中选择响应，同时保持与指令的强相关性。此外，系统利用Perspective API评估毒性水平，并结合评估模型来评估响应质量。

### 4. 本文创新点与贡献 * **首创集成**：首次将移动目标防御策略与商业LLMs集成，提供了一个能够抵御最先进对抗性攻击的健壮LLM系统。 * **响应选择模型**：构建了一个模型来选择既“有帮助”又“无害”的响应，结合了上下文随机性。 * **广泛评估**：对8个LLM模型的评估显示了MTD增强LLM系统的效力，将对抗性攻击成功率从37.5%降低到0%，同时将拒绝回答查询的比率从最高50%降低到0%。 ### 5. 本文实验实验对8个最新的聊天机器人模型进行了评估，使用了最先进的对抗性查询。实验结果表明，MTD增强的LLM系统在不牺牲对未受污染输入的性能的情况下，有效地降低了对抗性攻击的成功率，并减少了拒绝回答的比率。 ### 6. 实验结论实验结果证明了MTD增强LLM系统在抵御对抗性攻击方面的有效性。系统不仅提高了LLMs的安全性，还通过提供连贯且与上下文相关的响应，显著改善了用户体验。 ### 7. 全文结论本文介绍了一种新的解决方案来应对LLMs的对抗性攻击。MTD增强的LLM系统通过动态选择已知的LLMs并利用查询分析来提供“有帮助”和“无害”的响应，确保了这些目标之间的微妙平衡。通过在8个商业LLMs上的评估，我们的方法被证明是有效的。攻击成功率从37.5%降至0%，拒绝率从50%降至0%。我们的系统将MTD与传统安全措施相结合，为现代语言模型提供了一个既安全又有帮助的解决方案。注：本文提出的移动目标防御（MTD）策略是为了增强大型语言模型（LLMs）在面对对抗性攻击时的鲁棒性。MTD策略的核心思想是通过动态变化和随机化来增加攻击者预测和利用模型行为的难度。在本文中，MTD策略被应用于LLMs，以生成既丰富信息又避免潜在伤害的响应。以下是MTD策略的关键组成部分和步骤： #### 1. 响应选择模型 * **响应质量评估**：使用一个评估模型来衡量LLMs生成的响应的质量。这个模型可以基于响应的有用性、相关性和信息丰富度来评分。 * **毒性评估**：利用Perspective API或其他毒性评估工具来衡量响应的安全性，确保响应不包含有害或不当内容。 #### 2. 随机化响应选择 * **随机化过程**：在多个LLMs生成的响应中随机选择一个。这个过程引入了随机性，使得攻击者难以预测最终的输出。 * **质量与毒性的权衡**：通过一个平衡因子（𝛹?）来控制响应质量和毒性之间的权衡。这个因子可以根据实际需求调整，以确保在安全性和有用性之间取得最佳平衡。 #### 3. 防御管道 * **查询处理**：用户查询首先被送入LLMs进行处理。 * **响应生成**：每个LLM生成一个或多个响应。 * **响应分析**：使用响应选择模型对每个响应进行评估，包括毒性和质量评分。 * **响应选择**：根据评分和随机化策略选择最终的响应。 #### 4. 算法实现 * **CalculateMetrics函数**：计算每个响应的复合分数，结合质量评分和毒性评分。 * **GetResponse函数**：根据复合分数选择一个响应，确保所选响应既不低于质量阈值，也不高于毒性阈值。 #### 5. 实验评估 * **对抗性查询**：使用精心设计的对抗性查询来测试MTD策略的有效性。 * **性能指标**：通过攻击成功率（ASR）和拒绝率来衡量MTD策略的性能。 #### 6. 结论 MTD策略通过在LLMs中引入随机性和动态性，显著提高了模型在面对对抗性攻击时的鲁棒性。实验结果表明，这种策略能够将攻击成功率降低到0%，同时消除了拒绝回答的情况，实现了在保持响应质量的同时确保安全性的目标。总的来说，本文的MTD策略为LLMs提供了一种新的安全机制，使其能够在保持有用性的同时，抵御对抗性攻击，从而为用户提供更安全、更可靠的语言服务。 ### 阅读总结本文提出了一种新的防御机制，通过移动目标防御（MTD）策略增强了大型语言模型（LLMs）的安全性。这种机制通过随机选择响应和评估模型来确保生成的响应既有帮助又无害。实验结果表明，该系统在降低对抗性攻击成功率和拒绝回答率方面表现出色，为构建既安全又可靠的语言模型助手提供了一种有效的方法。