> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/privacy-attack/low-resource-languages-jailbreak-gpt-4.md).

# Low-Resource Languages Jailbreak GPT-4

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FsRynjYnhqfACUIV27Ltz%2Fimage.png?alt=media&amp;token=5d655739-b1e5-4fea-b046-7237893e7f2a" alt=""><figcaption></figcaption></figure>

## 阅读总结报告

### 1. 研究背景

大型语言模型（LLMs）在用户界面应用（如聊天机器人和写作工具）中的部署需要进行安全训练和红队测试，以避免生成有害内容。然而，现有的安全机制存在跨语言的脆弱性，这种脆弱性源于安全训练数据的语言不平等。研究者通过将不安全的英文输入翻译成低资源语言，成功绕过了GPT-4的安全防护，揭示了这一问题。

### 2. 过去方案和缺点

以往的安全机制主要集中在高资源语言（如英语）上，而对低资源语言的安全防护不足。这导致了在低资源语言环境中，LLMs更容易产生有害内容。此外，现有的安全训练和红队测试往往没有考虑到跨语言的泛化能力，使得模型在非英语环境中的安全性无法得到保证。

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FRI2witG0Y1LqktlJppIw%2Fimage.png?alt=media&amp;token=575bad83-7a16-4c1a-a34e-70c9fe8f102a" alt=""><figcaption></figcaption></figure>

### 3. 本文方案和步骤

研究者提出了一种基于翻译的攻击方法，通过将不安全的英文输入翻译成低资源语言，然后输入到GPT-4中，并将模型的响应翻译回英文。这种方法利用了公开可用的Google翻译API进行翻译。

### 4. 本文创新点与贡献

* 揭示了LLMs在低资源语言中的安全防护不足，强调了语言不平等在AI安全领域的危害。
* 通过实验表明，翻译攻击方法在低资源语言中的攻击成功率高达79%，与最先进的越狱攻击方法相当或更优。
* 强调了需要更全面和包容的红队测试，以开发具有广泛语言覆盖的健壮多语言安全防护。

### 5. 本文实验

研究者在AdvBench基准测试上系统地评估了GPT-4对翻译攻击的鲁棒性。实验结果表明，将英文输入翻译成低资源语言可以显著提高绕过GPT-4安全过滤器的机会。

### 6. 实验结论

实验结果支持了研究假设，即GPT-4在低资源语言中的安全防护存在显著漏洞。通过翻译攻击，研究者能够绕过安全机制并获得有害响应，这表明了现有安全训练的泛化能力不足。

### 7. 全文结论

本文的研究强调了LLMs在多语言环境中的安全性问题，特别是对于低资源语言的安全性。研究者呼吁安全社区开发覆盖低资源语言的多语言红队测试数据集，并构建具有更广泛语言覆盖的安全防护措施。

### 阅读总结

本文通过实证研究揭示了大型语言模型在低资源语言中的安全防护脆弱性。通过翻译攻击方法，研究者成功绕过了GPT-4的安全机制，展示了现有安全训练的局限性。这一发现对于AI安全领域具有重要意义，提示了在多语言环境中部署LLMs时需要更加关注低资源语言的安全问题。同时，这也为未来的研究和实践提供了改进方向，即开发更全面的安全防护措施，以确保LLMs在各种语言环境中的安全性。