# COERCING LLMS TO DO AND REVEAL (ALMOST) ANYTHING
1. 研究背景： 本文探讨了大型语言模型（LLMs）在面对对抗性攻击时的安全性问题。LLMs在商业应用中的部署日益广泛，尤其是在对话型聊天机器人领域。然而，用户可以向LLMs提供任意输入，这可能带来安全风险和漏洞。新兴的文本优化器能够算法化地生成对抗性攻击，这些攻击旨在克服现代聊天模型的对齐性，这些模型通过强化学习从人类反馈（RLHF）中进行了广泛的调整，以确保其无害和有帮助。
1. 过去方案和缺点： 以往的研究主要集中在对抗性机器学习领域，这些研究通常针对图像等连续模态的攻击。对于LLMs，早期的攻击尝试由于文本优化的复杂性而受阻。这些攻击通常是通过手动试验和错误或半自动化测试发现的。然而，这些方法在自动化发现和绕过基于手工微调数据和强化学习的保护措施方面存在问题。此外，现有的离散文本优化器在文本攻击中的表现不佳，且优化成本相对较高，这使得标准的自适应攻击对LLMs更具挑战性。
1. 本文方案和步骤： 本文提出了一种系统化的方法来探索和分类LLMs可能遭受的对抗性攻击。作者通过一系列具体的例子，讨论、分类并系统化了迫使LLMs产生各种非预期行为的攻击，如误导、模型控制、拒绝服务或数据提取。这些攻击在受控实验中进行了分析，发现许多攻击源于LLMs预训练时的编码能力，以及在常见LLM词汇表中存在的奇怪的“故障”标记，这些标记出于安全原因应该被移除。
1. 本文实验和性能： 作者在受控实验中分析了这些攻击，并发现许多攻击源于LLMs预训练时的编码能力，以及在常见LLM词汇表中存在的奇怪的“故障”标记。实验结果表明，对抗性攻击的光谱远比之前认为的要广泛，这些模型的安全性必须通过全面理解它们的能力 and 局限性来解决。
阅读总结报告： 本文深入研究了LLMs在面对对抗性攻击时的安全性问题，并提出了一种系统化的方法来探索和分类这些攻击。作者通过实验发现，LLMs在预训练时的编码能力和词汇表中的“故障”标记是导致安全问题的关键因素。本文的研究不仅揭示了LLMs在安全性方面的潜在风险，也为未来的研究提供了新的视角和方向。作者强调，为了确保LLMs的安全性，必须全面理解它们的能力 and 局限性，并采取相应的防御措施。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://elwood.gitbook.io/foundation-model-sec/llm-attack/coercing-llms-to-do-and-reveal-almost-anything.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.