# Jailbroken: How Does LLM Safety Training Fail?
## 阅读总结报告
### 1. 研究背景
大型语言模型（LLMs）如ChatGPT、Claude和Bard等在部署后，尽管实施了安全机制以限制模型行为，但仍易受到对抗性输入的攻击，如“越狱”（jailbreak）攻击，这些攻击能够诱导模型产生其训练中旨在避免的有害内容。这些攻击的存在表明，尽管模型经过了安全训练，但仍然存在漏洞。
### 2. 过去方案和缺点
以往的安全训练方法通常包括在训练期间对模型进行干预，以使其与预定义的价值观保持一致，以及在模型部署后对输入和输出进行标记和过滤。这些努力通常伴随着红队测试，以主动识别和训练对抗弱点。然而，这些方法在对抗性攻击面前仍然存在局限性，因为它们未能完全防止模型产生有害内容。
### 3. 本文方案和步骤
本文提出了两种安全训练失败模式：竞争目标和不匹配的泛化。竞争目标发生在模型的能力与安全目标冲突时，而不匹配的泛化发生在安全训练未能泛化到模型能力的某些领域。作者使用这些失败模式来指导越狱攻击的设计，并评估了包括OpenAI的GPT-4和Anthropic的Claude v1.3在内的最新模型。
### 4. 本文创新点与贡献
* 提出了两种新的安全训练失败模式，为理解越狱攻击提供了理论基础。
* 设计并评估了一系列新的越狱攻击，这些攻击在最新的安全训练模型上表现出色。
* 强调了安全机制应与模型的复杂性相匹配，否则攻击者可能会利用模型的先进能力来绕过安全机制。
### 5. 本文实验
实验包括对GPT-4和Claude v1.3进行评估，使用了从红队测试中收集的有害请求数据集，以及一个更大的合成数据集。尽管这些模型经过了广泛的安全训练，但实验结果表明，它们仍然容易受到新设计的攻击。
### 6. 实验结论
实验结果表明，尽管模型经过了安全训练，但仍然存在漏洞。新设计的攻击在所有提示上都成功地诱导了模型产生有害内容，这表明现有的安全训练方法可能无法完全防止对抗性攻击。
### 7. 全文结论
本文的研究强调了现有安全训练方法的局限性，并提出了安全机制应与模型的复杂性相匹配的观点。作者认为，为了更负责任地开发和部署LLMs，需要对模型的安全性进行更深入的评估，包括在对抗性环境中的评估。
### 阅读总结
本文深入分析了大型语言模型在安全训练方面的失败模式，并提出了新的越狱攻击方法来测试这些模型的安全性。实验结果揭示了即使在经过广泛安全训练的模型中，也存在可以被对抗性攻击利用的漏洞。这项工作为未来LLMs的安全研究提供了新的视角，并强调了在模型开发中考虑对抗性攻击的重要性。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://elwood.gitbook.io/foundation-model-sec/llm-attack/jailbroken-how-does-llm-safety-training-fail.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
