> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/survey/security-of-ai-agents.md).

# Security of AI Agents

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FWfOWfl5hEbqOS7gSb2Z6%2Fimage.png?alt=media&amp;token=22b8be24-598a-463c-b8a7-9065727aed17" alt=""><figcaption></figcaption></figure>

#### 1. 研究背景

随着大型语言模型（LLMs）的发展，AI代理（agents）作为智能助手，能够代表用户执行任务，与工具和环境进行交互。这些AI代理依赖于AI模型来理解用户输入和环境反馈，并生成使用工具的动作。尽管AI代理在各种任务上表现出色，但现有研究和开发未能充分考虑其潜在的安全漏洞。

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FgQTn4vEEhBXV68748sDd%2Fimage.png?alt=media&amp;token=4cf704a1-f4b3-48c2-b845-855a2b35fa19" alt=""><figcaption></figcaption></figure>

#### 2. 过去方案和缺点

传统的安全措施，如保密性、完整性和可用性，在应用于AI代理时面临新的挑战。例如，LLMs倾向于记忆和压缩训练数据，这给保密性带来了挑战。此外，AI代理与工具的交互可能引发隐私泄露，且现有研究未充分考虑这些安全风险。

#### 3. 本文方案和步骤

本文首先从系统安全的角度详细识别和描述了AI代理的潜在漏洞，然后提出了相应的防御机制。这些防御机制经过精心设计并通过实验评估其可行性。具体步骤包括：

* 识别AI代理中的会话管理、模型污染、隐私泄露、代理程序等潜在漏洞。
* 提出针对每个漏洞的防御策略，如会话管理、沙箱限制、模型保护等。
* 设计实验验证所提防御策略的有效性。

#### 4. 本文创新点与贡献

* 提出了针对AI代理的系统性安全分析，包括新的安全漏洞识别和防御策略。
* 强调了在AI代理开发中考虑安全性的重要性，并提出了一系列实用的防御措施。
* 通过实验验证了所提防御策略的可行性，为AI代理的安全研究提供了新的思路和方法。

#### 5. 本文实验

文章设计了实验来评估所提出的防御策略，包括：

* 对于会话管理，使用键值数据库（KVDB）来存储用户会话信息。
* 对于沙箱，设计了BashAgent来与操作系统交互，并测试了其在受限环境下的表现。
* 对于模型保护，提出了使用同态加密（FHE）来保护用户数据隐私。
* 进行了模拟攻击实验，验证了AI代理在不同防御措施下的安全性。

#### 6. 实验结论

实验结果表明：

* 通过适当的会话管理，可以有效防止信息泄露和行动错误分配。
* 沙箱可以成功抵御由LLM生成的攻击指令，保护系统资源。
* 使用FHE可以在不泄露敏感信息的情况下，让AI代理执行数学运算。

#### 7. 全文结论

文章强调了在AI代理的开发中整合安全和可靠性的重要性，并提出了一系列可行的防御策略来应对潜在的安全风险。通过这些策略，可以增强AI代理的安全性，推动实现更安全、更可靠的通用人工智能（AGI）。

####