> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-defense/is-the-system-message-really-important-to-jailbreaks-in-large-language-models.md). # Is the System Message Really Important to Jailbreaks in Large Language Models?
## 阅读总结报告 ### 1. 研究背景 大型语言模型（LLMs）如ChatGPT、Bard和Claude等在现代社会中变得越来越重要。尽管在发布前会采取安全措施以确保LLMs与人类价值观一致，但最近的研究发现了一种名为“jailbreak”的现象，即LLMs在被恶意问题提示时产生意外和潜在有害的响应。现有研究主要集中在生成jailbreak提示上，而本研究旨在探讨系统消息在LLMs jailbreak中的重要性。 ### 2. 过去方案和缺点 过去的研究主要集中在手动构建jailbreak提示，这种方法效率低下。随后发展出系统化和自动化的方法来生成这些提示。然而，这些研究忽视了系统消息在jailbreak中的作用，系统消息通常是开发者与LLMs交互时使用的，但其对jailbreak的影响尚未得到系统性研究。
### 3. 本文方案和步骤 本研究在稳定的GPT版本gpt-3.5-turbo0613上进行实验，生成具有不同系统消息（短、长和无）的jailbreak提示。通过实验发现，不同的系统消息对jailbreak的抵抗力不同。此外，研究还探索了jailbreak在不同LLMs之间的可转移性。 ### 4. 本文创新点与贡献 研究提出了系统消息在LLMs安全和jailbreak研究中的重要性，并首次进行了系统性测试。研究还设计了系统消息进化算法（SMEA），用于搜索多样化且对jailbreak更具抵抗力的系统消息。通过SMEA，研究得到了对jailbreak提示具有高达98.9%抵抗力的系统消息群体。 ### 5. 本文实验 实验部分详细介绍了使用gpt-3.5-turbo-0613进行的jailbreak实验，探讨了不同系统消息对模型脆弱性的影响，并研究了jailbreak提示在不同系统消息配置之间的可转移性。此外，介绍了SMEA算法，旨在优化系统提示以增强对jailbreak提示的抵抗力。 ### 6. 实验结论 实验结果表明，系统消息在LLMs的jailbreak中起着至关重要的作用，并且jailbreak提示在不同系统配置之间具有一定的可转移性。SMEA算法能够有效地生成对jailbreak提示具有高抵抗力的系统消息。 ### 7. 全文结论 本文深入研究了系统消息对LLMs jailbreak提示的影响，并提出了SMEA这一新方法，旨在有效地搜索系统消息以抵御jailbreak提示。实验结果验证了所提方法的有效性，展示了其能够抵御高达98.9%的jailbreak提示。未来的工作将深入研究jailbreak提示的可转移性，并开发动态系统消息配置以应对各种形式的jailbreak提示。 注1： 在本文中，系统消息（System Messages）指的是开发者在与大型语言模型（LLMs）交互时设置的一系列指导性文本。这些消息通常用于指导LLMs的行为，确保它们在回答问题或执行任务时遵循特定的道德和安全标准。系统消息可以被视为一种指令或规则集，它们定义了LLMs在处理用户输入时应遵循的行为准则。 例如，系统消息可能会包含如下内容： * 要求LLMs在回答问题时保持有帮助、尊重和诚实。 * 禁止LLMs生成包含有害、不道德、种族主义、性别歧视、有毒、危险或非法内容的回答。 * 当问题不清晰或缺乏事实一致性时，要求LLMs提供解释而不是错误信息。 * 如果LLMs不确定答案，应避免分享虚假信息。 这些系统消息的目的是帮助LLMs更好地理解和执行开发者的意图，同时确保它们的输出符合社会和法律标准，避免产生有害或不当的内容。在本文的研究中，作者探讨了不同系统消息对LLMs抵抗jailbreak攻击（即诱导LLMs产生有害内容的攻击）的能力的影响，并提出了优化系统消息的方法来提高LLMs的安全性。 注2： 在本文中，系统消息的不同配置对LLMs抵抗jailbreak攻击的能力产生显著影响，这一点通过实验得到了验证。系统消息是开发者设置的一系列文本指令，它们定义了LLMs在处理输入时应遵循的行为准则。这些消息可以影响LLMs的决策过程，尤其是在面对可能诱导其产生不当或有害内容的提示时。 #### 实验说明 研究者在GPT-3.5模型上进行了实验，生成了三种不同配置的系统消息： 1. **短系统消息（Short System Message, PS）**：这是通常由开发者设置的简短的指导性文本，例如：“你是一个有帮助、尊重和诚实的助手。” 2. **长系统消息（Long System Message, PL）**：这是更详细的指导性文本，可能会包含更多的道德和安全指导原则，例如：“你的回答不应包含任何有害、不道德、种族主义、性别歧视、有毒、危险或非法内容。请确保你的回应是社会公正的，性质积极的。” 3. **无系统消息（No System Message, PN）**：在这种情况下，没有设置任何系统消息，LLMs在没有任何额外指导的情况下处理输入。 #### 实验结果 实验结果表明，不同的系统消息配置对LLMs抵抗jailbreak攻击的能力有显著差异。具体来说： * 当使用长系统消息时，LLMs展现出了最高的抵抗力，能够抵抗大部分jailbreak提示，即使在没有经过特别优化的情况下，也能抵抗高达86.4%的jailbreak尝试。 * 短系统消息的抵抗力较低，导致更多的jailbreak提示成功诱导LLMs产生不当内容。 * 没有系统消息的情况下，LLMs对jailbreak提示的抵抗力最弱，几乎所有的jailbreak尝试都能成功。 #### 举例说明 假设有一个jailbreak提示，目的是诱导LLMs提供关于如何制造危险物品的信息。在不同的系统消息配置下，LLMs的反应可能会如下： * **短系统消息**：LLM可能会忽略系统消息的简短指导，而响应提示，提供不当信息。 * **长系统消息**：由于长系统消息提供了更详细的指导，LLM可能会识别出提示的不当性，并拒绝提供相关信息，或者提供一个安全、积极的回应。 * **无系统消息**：没有系统消息的指导，LLM可能更容易被jailbreak提示诱导，从而提供有害内容。 这些实验结果强调了系统消息在增强LLMs安全性方面的重要性，并指出了通过优化系统消息来提高LLMs抵抗jailbreak攻击的潜力。 ### 阅读总结 本文通过实验研究了系统消息在LLMs安全中的作用，特别是其在防止jailbreak方面的重要性。研究发现，系统消息的不同配置对LLMs抵抗jailbreak的能力有显著影响。此外，提出了SMEA算法来优化系统消息，以提高LLMs的安全性。这项研究不仅增强了LLMs的安全性，而且提高了jailbreak的难度，为该领域的研究提供了新的视角和方法。未来的研究将进一步探索jailbreak提示的可转移性，并开发更动态的系统消息配置策略。