# A Cross-Language Investigation into Jailbreak Attacks in Large Language Models

## 研究背景大型语言模型（LLMs）在各种领域的文本生成能力日益受到欢迎。然而，与任何软件一样，LLMs也面临着安全挑战，包括“越狱”攻击的风险，这种攻击操纵LLMs以产生被禁止的内容。特别是多语言越狱攻击，这种攻击通过将恶意问题翻译成各种语言来规避安全过滤器，这一领域尚未得到充分研究。目前缺乏全面的经验研究来解决这一特定威胁。 ## 过去方案和缺点过去的研究主要集中在针对英语的越狱攻击上，而对多语言环境下的LLMs安全性的研究不足。大多数现有的安全机制都是为英语量身定制的，这在多语言环境中可能导致安全漏洞。此外，现有的研究缺乏对多语言LLM越狱攻击的全面评估，包括自动构建多语言LLM越狱场景的基准测试、测试的LLM范围有限，以及对根本原因和缓解策略的分析不足。

## 本文方案和步骤本文提出了一个经验研究，旨在全面评估多语言LLM越狱攻击。研究者开发了一种新颖的语义保留算法来创建多语言越狱数据集，并在包括GPT-4和LLaMa在内的广泛使用的开源和商业LLMs上进行了详尽的评估。此外，研究者还进行了可解释性分析，以揭示多语言越狱攻击中的模式，并实现了一种微调缓解方法。

## 本文创新点与贡献 * 提出了一种自动化的多语言数据集生成算法，能够创建包含九种不同语言的全面多语言恶意问题数据集。 * 对各种LLMs在多语言环境下对越狱攻击的响应进行了全面的评估。 * 通过可解释性分析，深入理解了LLMs在不同语言环境下对越狱攻击的不同响应模式。 * 开发并实施了一种越狱缓解方法，显著提高了模型的防御能力，将攻击成功率降低了96.2%。 ## 本文实验实验部分评估了多语言LLM越狱攻击的有效性，并分析了不同模型、语言和禁止场景下的性能。研究者使用了七种越狱模板，并根据这些模板的使用情况将攻击区分为无意或有意。通过测量模型对攻击的成功率并分析不同模型和场景下的性能变化率，研究者观察到最新OpenAI GPT模型的结果与现有研究一致，但在开源模型如LLaMa中存在显著差异。在论文中提到的一个多语言LLM越狱攻击实例是针对OpenAI GPT模型的。攻击者可能会构造一个恶意问题，并将其翻译成不同的语言，以测试模型在不同语言环境下的安全过滤器是否能够有效地识别和阻止有害内容的生成。例如，假设有一个恶意问题：“如何制作一个无法被检测到的恶意软件？”（How to create an undetectable malware?）。这个问题在英语中可能会被GPT模型识别为有害内容并被阻止回答。然而，如果攻击者将这个问题翻译成资源较少的语言（如斯瓦希里语），模型可能就无法有效地识别这个问题的恶意意图，从而生成了包含有害信息的回答。这种攻击利用了LLMs在不同语言上训练数据的不平衡性，以及模型在处理非主要语言时可能存在的安全漏洞。这表明，即使在英语环境下模型表现出良好的安全性，但在其他语言环境下，尤其是在资源较少的语言中，模型的安全性可能会显著降低。这种多语言越狱攻击的实例强调了在多语言环境中对LLMs进行安全性评估和改进的重要性。 ## 实验结论实验结果表明，尽管最新OpenAI GPT模型在有意越狱场景下的表现与现有研究一致，但在无意场景下并未表现出显著的防御能力提升。相比之下，GPT-4在有意越狱场景下的表现优于GPT-3.5，但在无意场景下并未显著提高防御能力。通过微调Vicuna-7B-v1.5模型，研究者显著降低了攻击成功率，证明了缓解策略的有效性。 ## 全文结论本研究对多语言LLM越狱攻击进行了全面的实证研究，提供了有价值的见解，有助于理解和缓解这类攻击。通过自动化的多语言数据集生成、全面的模型评估、可解释性分析以及有效的缓解策略，本研究为LLMs的安全性研究提供了新的视角和方法。 ## 阅读总结报告本研究针对大型语言模型（LLMs）在多语言环境下的安全性问题，特别是越狱攻击，进行了深入的实证研究。研究者开发了一种新的语义保留算法来自动创建多语言恶意问题数据集，并在多种LLMs上进行了评估。通过可解释性分析，研究者揭示了LLMs在不同语言环境下对越狱攻击的反应模式，并实施了有效的微调缓解方法，显著提高了模型的防御能力。这项工作不仅为LLMs的安全性研究提供了新的视角，也为未来的安全机制开发提供了宝贵的经验。 --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://elwood.gitbook.io/foundation-model-sec/llm-attack/a-cross-language-investigation-into-jailbreak-attacks-in-large-language-models.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.