> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/survey/survey-of-vulnerabilities-in-large-language-models-revealed-by-adversarial-attacks.md). # Survey of Vulnerabilities in Large Language Models Revealed by Adversarial Attacks
1. 研究背景： 随着大型语言模型（LLMs）在架构和能力上的迅速发展，它们越来越多地被整合到复杂的系统中。这使得对LLMs的安全属性进行审查变得尤为重要。本文调查了针对LLMs的对抗性攻击研究，这是一个结合自然语言处理（NLP）和安全性的新兴跨学科领域。以往的研究表明，即使是通过指令调整和通过人类反馈进行强化学习的安全性对齐的LLMs（如ChatGPT和Bard）也可能容易受到对抗性攻击，这些攻击利用弱点误导AI系统。例如，ChatGPT和Bard等模型上的“越狱”攻击就普遍存在。 2. 过去方案和缺点： 过去的研究主要集中在对抗性攻击的生成上，这些攻击通过精心设计的输入来驱动机器学习结构产生可靠的错误输出。然而，这些攻击通常需要对模型的内部结构有完全的访问权限（白盒访问），这在实际应用中是不现实的。此外，现有的攻击方法在对抗性样本的生成上存在局限性，尤其是在保持对抗性样本的自然性和有效性方面。此外，对抗性攻击的研究往往没有考虑到LLMs的复杂性，包括它们的生成能力、上下文保持能力以及多模态特性。 3. 本文方案和步骤： 本文首先提供了LLMs的概述，描述了它们的安全对齐，并根据各种学习结构对现有研究进行了分类，包括仅文本攻击、多模态攻击以及针对复杂系统（如联合学习或多智能体系统）的特定攻击方法。文章还对关注于对抗性攻击根本来源和潜在防御的工作进行了全面的评论。为了使这个领域对新手更加易于理解，文章提供了对现有工作的系统性回顾，一个结构化的对抗性攻击概念分类，以及包括在ACL'24上相关主题的演示幻灯片在内的额外资源。 4. 本文实验和性能： 本文没有提供具体的实验和性能评估，因为它是一个综述性的论文，旨在总结和分类现有的对抗性攻击研究，而不是提出新的实验结果或性能基准。 阅读总结报告： 本文是对大型语言模型对抗性攻击研究的全面综述。它强调了LLMs在安全方面的脆弱性，并探讨了对抗性攻击的多种类型，包括越狱攻击、提示注入攻击以及针对复杂系统的攻击。文章还讨论了现有防御策略的局限性，并提出了未来研究的方向，包括开发新的防御机制以应对不断进化的对抗性攻击。此外，文章为研究人员提供了一个结构化的框架，以更好地理解和应对LLMs面临的安全挑战。