> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-attack/increased-llm-vulnerabilities-from-finetuning-and-quantization.md).

# INCREASED LLM VULNERABILITIES FROM FINETUNING AND QUANTIZATION

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FUNPMGkz4OGtt9Z6I6ZAl%2Fimage.png?alt=media&amp;token=6a6fe9cc-d3f6-4a3c-95fb-0c25dc79fe45" alt=""><figcaption></figcaption></figure>

## 阅读总结报告

### 1. 研究背景

大型语言模型（LLMs）在诸如聊天机器人、自动任务完成代理等多个领域中变得越来越流行。然而，LLMs容易受到各种类型的攻击，例如越狱攻击、提示注入攻击和隐私泄露攻击。为了使LLMs不生成与人类价值观相悖的内容，并防止其被恶意滥用，它们在预训练后会经历对抗性和对齐训练，以学习不生成恶意和有毒内容。针对特定用例，这些基础LLMs会进行微调或量化，以提高性能和效率。本研究检验了微调和量化等下游任务对LLM脆弱性的影响。

### 2. 过去方案和缺点

以往的研究已经展示了LLMs的脆弱性，并且提出了一些越狱攻击方法，如提示自动迭代细化（PAIR）攻击和攻击树修剪（TAP）。这些攻击方法表明，通过少量示例就可以使LLM忘记其安全训练，从而生成有毒的响应。然而，这些安全措施可以通过对抗性攻击轻易绕过，从而使LLM越狱并生成攻击者希望的任何内容。

### 3. 本文方案和步骤

本研究使用AdvBench子集作为对抗性有害提示的子集，包含32个类别中的50个请求有害信息的提示。研究使用攻击算法TAP，因为它是目前最先进的黑盒、自动方法，并且生成的提示具有语义意义。研究使用TAP算法和AdvBench子集来攻击目标LLM，并使用评估结果来评估它们是否已被越狱。

### 4. 本文创新点与贡献

* 本研究扩展了LLM在任何任务上的微调（不一定是有毒内容生成）和量化如何影响其安全训练的概念。
* 研究表明，微调和量化显著降低了LLM的越狱抵抗力，导致LLM的脆弱性增加。
* 最后，研究展示了外部防护措施在减少LLM脆弱性方面的实用性。

### 5. 本文实验

实验部分详细描述了用于越狱LLM的实验设置，包括微调、量化和防护措施等不同下游处理模式的测试。实验使用了GPT-3.5-turbo作为攻击模型，GPT-4-turbo作为评判模型，并采用了Anyscale端点、OpenAI API和HuggingFace作为目标模型。

### 6. 实验结论

实验结果表明，微调和量化后的LLM更容易受到越狱攻击。引入外部防护措施可以显著降低LLM的脆弱性，并在很大程度上减轻越狱尝试。

### 7. 全文结论

本研究调查了LLM对越狱尝试的安全性，并展示了微调和量化模型的脆弱性，强调了使用外部防护措施来降低这一风险的重要性。微调和量化模型权重改变了LLM的风险概况，可能会破坏通过RLHF建立的安全对齐。研究建议在部署模型前，将这些测试作为CI/CD压力测试的一部分，并强调将防护措施与AI开发中的安全实践相结合的重要性。

注1：

在论文 "Increased LLM Vulnerabilities from Fine-tuning and Quantization" 中，研究表明微调和量化显著降低了大型语言模型（LLMs）的越狱抵抗力，导致LLM的脆弱性增加，原因如下：

1. **微调的影响**：
   * 微调是针对特定任务对基础LLM进行进一步训练的过程，以便模型在该任务上表现得更好。然而，这种微调可能会导致模型忘记其在预训练阶段学习到的安全协议和对齐训练。
   * 微调可能会改变模型的权重和偏差，使其更专注于新任务，而忽视了原有的安全约束。
   * 微调后的模型可能更容易受到提示注入攻击，因为它们可能会对新的、特定的提示更加敏感，而这些提示可能绕过了原有的安全防护。
2. **量化的影响**：
   * 量化是一种减少模型计算资源需求的技术，通过降低模型权重的数值精度来实现。这通常涉及将权重从32位浮点数缩放到16位或其他更低的精度。
   * 量化可能会导致模型性能下降，包括降低其对输入数据的理解能力和生成准确响应的能力。
   * 量化后的模型可能在数值上更加脆弱，因为它们的权重已经被量化，这可能会导致模型对输入的微小变化更加敏感，从而使越狱攻击更容易成功。
3. **安全协议的缺失**：
   * 微调和量化过程可能没有考虑到保持模型原有安全防护的重要性，导致这些安全措施在新模型中缺失或弱化。
   * 由于安全协议的缺失或弱化，微调和量化后的模型可能无法有效地识别和拒绝有害的输入，从而增加了它们的脆弱性。
4. **实验结果**：
   * 论文中的实验结果显示，与基础模型相比，微调和量化后的模型在面对越狱攻击时的抵抗力显著降低，更容易被攻击者利用来生成不安全的内容。

因此，微调和量化虽然可以提高LLMs在特定任务上的性能和效率，但同时也可能削弱了它们对恶意攻击的抵抗力，增加了它们的脆弱性。这强调了在微调和量化过程中需要更加关注模型安全性的重要性，并采取措施来保护和加强模型的安全防护。

注2：

引入外部防护措施来降低大型语言模型（LLMs）的脆弱性，主要指的是以下类型的措施：

1. **输入过滤（Input Filtering）**：
   * 使用特定的算法或模型来预处理输入数据，以识别和阻止可能引导模型生成不安全或有害内容的提示（prompts）。
   * 例如，可以使用文本分类器来识别和过滤掉包含攻击性语言或潜在有害指令的输入。
2. **输出监控（Output Monitoring）**：
   * 对模型的输出进行实时监控，确保生成的内容符合预定的安全标准。
   * 如果检测到潜在的问题，可以立即采取措施，比如阻止输出的发布或提醒人工审核。
3. **安全训练（Safe Training）**：
   * 在模型训练过程中加入安全相关的训练数据和策略，以增强模型对不安全内容的识别和抵制能力。
   * 通过强化学习和人类反馈来调整模型的行为，使其更加符合安全和道德标准。
4. **防护规则（Guardrails）**：
   * 设定一系列规则和限制，作为模型运行时的“安全网”，防止模型超出预定的安全边界。
   * 这些规则可以是硬编码的，也可以是可编程的，允许灵活地根据应用场景和需求进行调整。
5. **异常检测（Anomaly Detection）**：
   * 实施异常检测系统来监控模型的行为，识别与正常行为模式显著不同的行为，这可能表明模型正在受到攻击或产生不安全的内容。
   * 一旦检测到异常，系统可以自动采取响应措施，如暂停模型的运行或触发警报。
6. **人工审核（Human Review）**：
   * 结合自动化系统和人工审核员的工作，对模型的输出进行最终检查，确保其安全性和合规性。
   * 人工审核员可以对模型的输出进行更深入的理解，识别自动化系统可能遗漏的问题。
7. **更新和维护（Updates and Maintenance）**：
   * 定期更新模型和安全措施，以应对新出现的威胁和漏洞。
   * 持续监控最新的研究和开发，以确保模型的安全措施能够跟上技术进步的步伐。

通过这些外部防护措施，可以在不同层面上增强LLMs的安全性，减少它们受到恶意攻击的风险，从而保护用户和数据安全。

### 阅读总结

本研究深入探讨了大型语言模型在面对微调和量化等下游任务时的安全性问题。通过一系列的实验，研究表明微调和量化会降低LLM的安全性，使其更容易受到越狱攻击。此外，研究还发现，外部防护措施在减少LLM脆弱性方面发挥了重要作用。这些发现对于负责任的AI开发实践具有重要意义，有助于推动AI技术的创新和安全部署。