# Evil Geniuses: Delving into the Safety of LLM-based Agents
### 研究背景
本研究背景基于大型语言模型（LLMs）的快速发展，这些模型在各种交互和策略制定中展现出类似人类的行为和协作能力。然而，评估基于LLM的智能代理（agents）的安全性仍然是一个复杂挑战。现有的方法已经展示了通过显式和隐式提示在LLMs中引入“越狱”（jailbreak）的可行性，从而生成危险内容。本文旨在通过精心设计的手动越狱提示和虚拟聊天支持的“邪恶天才”（Evil Geniuses）团队，全面探究这些代理的安全方面。
### 过去方案和缺点
以往的研究主要集中在针对LLMs本身的攻击方法，包括手动和对抗性攻击。手动攻击通常依赖于精心设计的输入提示，引导生成的响应朝着预定方向发展，但这种方法耗时且依赖于对目标LLM的深入理解。对抗性攻击则采用基于梯度和基于分数的优化技术来创建攻击提示，但这些研究往往忽略了LLM在多代理环境中的固有双重性质。
### 本文方案和步骤
本文提出了一个名为“邪恶天才”（Evil Geniuses，简称EG）的框架，这是一个虚拟的、聊天支持的环境，旨在自动生成系统或代理的越狱身份，并评估基于LLM的代理针对各种角色专业化的攻击影响。EG框架包括三个预定义的角色：有害提示编写者、适用性审查者和有害性测试者。通过这些角色的协同工作，EG能够迭代地生成和优化攻击提示。
### 本文创新点与贡献
* 提供了对基于LLM的多代理系统比标准LLMs更易受攻击的详细检查，突出了多代理交互中的独特挑战。
* 介绍了EG框架，这是一个创新的虚拟聊天支持环境，用于自动生成越狱身份并评估攻击策略的有效性。
* 对基于LLM的代理进行了不同攻击策略的全面评估，揭示了这些策略的有效性和代理在不同系统配置和角色中的行为。
### 本文实验
实验使用了三个开源的多代理框架CAMEL、MetaGPT和ChatDev，并选用AdvBench作为测试集。通过EG框架对这些框架进行系统级和代理级的攻击，评估了攻击成功率（ASR），并进行了消融研究以评估EG结构的有效性。
### 实验结论
实验结果表明，EG攻击策略在系统级和代理级上都取得了显著的成功，这突显了LLM基础代理的脆弱性。此外，系统级攻击比代理级攻击更有效，且高级代理对整体系统的影响更为显著。这些发现强调了LLM基础代理在安全性方面的挑战，并为未来的研究提供了见解。
### 全文结论
这篇论文《Evil Geniuses: Delving into the Safety of LLM-based Agents》深入研究了基于大型语言模型的智能代理在安全性方面的挑战。作者通过手动越狱攻击和EG框架的创新方法，展示了这些代理在面对复杂攻击时的脆弱性，并揭示了多代理环境中的独特风险。研究结果不仅为理解LLM基础代理的安全性问题提供了新的视角，也为未来的安全研究和防御策略提供了重要的见解和方向。
论文的主要贡献包括：
* 对比了标准LLMs和基于LLM的多代理系统的安全性差异。
* 提出了EG框架，用于自动生成攻击提示并评估其有效性。
* 通过全面的实验评估了不同攻击策略，并进行了消融研究来证明EG结构的有效性。
这项研究强调了在设计和部署基于LLM的智能代理时，需要考虑的安全性问题，并指出了当前安全措施的不足。作者建议未来的工作应集中在开发更强大的过滤机制、对齐策略和多模态内容过滤系统，以提高这些代理的安全性和可靠性。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://elwood.gitbook.io/foundation-model-sec/llm-attack/evil-geniuses-delving-into-the-safety-of-llm-based-agents.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
