# BASELINE DEFENSES FOR ADVERSARIAL ATTACKS AGAINST ALIGNED LANGUAGE MODELS

<figure><img src="/files/cAKnbB8Uj3xBfZx1WUGb" alt=""><figcaption></figcaption></figure>

### 1. 研究背景

随着大型语言模型（LLMs）在专业和社会应用中的广泛部署，这些模型的安全性和安全性变得至关重要。LLMs的安全漏洞可能导致有害响应的生成，这在商业应用中尤其突出。此外，LLMs的攻击面随着其作用范围和复杂性的扩展而增加。对抗性攻击，特别是那些使用优化器算法精心设计的攻击，对LLMs构成了严重问题，因为这些攻击可以自动化发现，并容易绕过基于手工微调数据和强化学习的防御。

### 2. 过去方案和缺点

以往的研究主要集中在对抗性机器学习领域，开发了一系列防御策略，但这些策略在LLMs领域的适用性尚未得到充分验证。现有的防御方法，如基于规则的后处理、人类反馈的强化学习以及外部分类器的使用，虽然在一定程度上有效，但往往难以处理问题的微妙性和复杂性。此外，这些方法可能无法适应潜在有害内容的复杂性和上下文依赖性。

### 3. 本文方案和步骤

本文提出了一种基于对抗性机器学习文献中的三类防御策略来评估LLMs的安全性：检测（基于困惑度）、输入预处理（改述和重新分词）以及对抗性训练。研究者探讨了这些防御策略在白盒和灰盒设置中的可行性和有效性，并讨论了LLM安全性与计算机视觉的不同之处。

### 4. 本文创新点与贡献

* 提出了一种新的评估框架，用于测试LLMs对抗性攻击的防御策略。
* 探讨了在LLMs领域中，现有的离散文本优化器的弱点，以及优化成本相对较高，使得标准的自适应攻击对LLMs更具挑战性。
* 讨论了计算机视觉中的视觉对抗训练方法在LLMs领域可能不直接适用，并尝试了变体，表明这仍然是一个开放问题。

### 5. 本文实验

实验评估了几种基线防御策略对抗性攻击的有效性，包括困惑度过滤、改述和重新分词，以及对抗性训练。实验结果表明，尽管简单，但困惑度过滤和改述在白盒场景下是有希望的，因为即使在白盒场景下，基于困惑度的检测系统也会降低攻击的有效性。

### 6. 实验结论

实验发现，现有的离散文本优化器的弱点和相对较高的优化成本使得标准自适应攻击对LLMs更具挑战性。此外，LLMs领域的过滤和预处理防御可能比计算机视觉领域更强大。未来的研究需要揭示是否能够开发出更强大的优化器，或者过滤和预处理防御在LLMs领域是否比计算机视觉领域更强大。

### 7. 全文结论

本文通过对抗性训练方法对LLMs的安全性进行了评估，发现LLMs领域的防御策略可能与计算机视觉领域有所不同。尽管存在一些局限性，但这项工作为LLMs的安全性研究提供了有价值的见解，并指出了未来研究的潜在方向。

### 阅读总结

本文对LLMs的安全性进行了深入研究，特别是在对抗性攻击的背景下。通过评估多种防御策略，本文揭示了LLMs在安全性方面的一些关键差异，并提出了未来研究的方向。这些发现对于理解和改进LLMs的安全性具有重要意义，并为未来的研究提供了坚实的基础。


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://elwood.gitbook.io/foundation-model-sec/llm-attack/baseline-defenses-for-adversarial-attacks-against-aligned-language-models.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.