> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-attack/forcing-generative-models-to-degenerate-ones-the-power-of-data-poisoning-attacks-1.md).
# Forcing Generative Models to Degenerate Ones: The Power of Data Poisoning Attacks
1. 研究背景： 随着大型语言模型（LLMs）在各种应用中的广泛使用，尤其是在自然语言生成（NLG）任务中，它们的安全性问题引起了广泛关注。LLMs通常在大规模数据集上进行训练，而这些数据集的质量和完整性很难得到保证。研究表明，恶意行为者可以通过在训练数据中注入“中毒”数据（即包含特定触发器的输入和攻击者指定的输出）来对LLMs进行后门攻击。这种攻击在图像识别和分类任务中已有研究，但在NLG任务中的影响尚不清楚。本文旨在填补这一研究空白，通过全面探索各种中毒技术，评估它们在NLG任务中的有效性，并引入一系列专门针对NLG任务的评估指标。
1. 过去方案和缺点： 以往的研究主要集中在LLMs的分类任务上，对于NLG任务的中毒攻击研究较少。此外，现有的评估指标（如攻击成功率ASR和清洁准确率CA）主要针对分类任务，并不适用于NLG任务。NLG任务的输出空间是随机的，且与分类任务相比，评估中毒攻击的成功与否更为复杂。因此，需要新的方法和指标来评估NLG任务中的中毒攻击。
2. 本文方案和步骤： 本文提出了一种系统的方法来研究和评估针对NLG任务的中毒攻击。首先，作者评估了不同长度和触发器位置的触发器，并提出了一种新的评估指标体系，包括成功度和隐蔽性两个方面。然后，通过在两个主要的NLG任务（文本摘要和文本完成）上进行广泛的实验，使用两种类型的LLMs（编码器-解码器变换器T5-small和解码器仅因果LLM GPT-2），展示了在微调阶段使用少量（1%）的总调整数据样本成功对LLM进行中毒的可能性。最后，作者提出了一种新的评估指标——目标匹配度（Target Match），以更精细地评估攻击的成功程度。
3. 本文实验和性能： 实验结果表明，通过精心设计的中毒攻击，可以在NLG任务中成功地对LLMs进行攻击。例如，在文本摘要任务中，使用全微调方法时，即使只有1%的训练数据被中毒，也能成功地对模型进行攻击。此外，作者发现触发器的长度和位置对于攻击的成功和隐蔽性至关重要。在文本完成任务中，前缀微调方法可能比全微调方法更容易受到中毒攻击的影响。这些发现为AI安全社区提供了宝贵的信息，有助于设计出针对此类威胁的适当防御措施。
注1：
在论文中提到的前缀微调方法（prefix-tuning）和全微调方法（full fine-tuning）是两种不同的参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）策略，用于调整大型语言模型（LLMs）以适应特定的下游任务。这些方法旨在在不显著增加参数数量的情况下，使预训练的模型适应新任务。
1. 前缀微调方法（Prefix-Tuning）： 前缀微调是一种PEFT方法，它通过在模型的输入序列前添加一个可学习的前缀向量来调整模型的行为。这个前缀向量是一组可训练的参数，它们与输入序列一起被送入模型。在训练过程中，前缀向量会与特定任务相关联，从而影响模型的输出。这种方法的优点是它不需要对模型的主体结构进行大量的参数更新，因此计算效率较高。前缀微调在某些任务中表现出了与全微调相当的性能，同时减少了对计算资源的需求。
2. 全微调方法（Full Fine-Tuning）： 全微调是一种更传统的微调方法，它涉及到对模型的所有参数进行更新，以适应特定的下游任务。在这种方法中，整个预训练模型（包括所有层和权重）都会在新任务的数据集上进行训练。全微调通常能够提供更好的性能，因为它允许模型在更深层次上适应新任务。然而，这也意味着需要更多的计算资源和时间。
在论文中，作者比较了这两种微调方法在NLG任务中的安全性，特别是在面对数据中毒攻击时的脆弱性。研究发现，在文本摘要任务中，全微调方法比前缀微调方法更容易受到中毒攻击的影响，而在文本完成任务中，前缀微调方法可能更脆弱。这些发现对于理解不同微调方法在实际应用中的安全性具有重要意义。
注2：
根据论文的描述，作者提出的数据中毒攻击（data poisoning attack）对大型语言模型（LLMs）在自然语言生成（NLG）任务中的危害主要表现在以下几个方面：
1. **生成不期望的输出**：攻击者可以通过在训练数据中注入特定的触发器（triggers）和目标输出（target outputs），使得模型在看到这些触发器时产生攻击者指定的输出。这些输出可能是有害的、不当的或者与模型的正常行为不一致。
2. **隐蔽性**：数据中毒攻击的隐蔽性使得攻击难以被检测。攻击者可以设计触发器和目标输出，使得它们在正常使用中不会引起注意，但在特定条件下会导致模型产生恶意输出。
3. **影响模型性能**：虽然论文中提到，攻击通常只会导致模型在清洁样本（clean samples）上的性能轻微下降，但这种性能下降可能会影响模型在实际应用中的可靠性和有效性。
4. **安全性漏洞**：数据中毒攻击揭示了LLMs在安全性方面的漏洞。这种漏洞可能被恶意利用，导致模型在不知情的情况下参与到有害信息的传播中。
5. **防御挑战**：论文中的研究结果表明，即使是在微调阶段引入少量的中毒数据（例如1%），也能成功地对模型进行攻击。这为开发有效的防御措施提出了挑战，因为需要在不显著影响模型性能的情况下，识别并抵御这种隐蔽的攻击。
6. **任务特定影响**：不同的NLG任务对中毒攻击的敏感性不同。例如，文本摘要任务可能比文本完成任务更容易受到攻击。这表明在设计防御策略时需要考虑任务特定的特性。
总的来说，这种攻击可能会对LLMs的安全性和可靠性造成严重威胁，尤其是在需要模型输出高质量和安全内容的应用场景中。因此，理解和防御这类攻击对于确保AI系统的安全至关重要。
阅读总结报告： 本文是首次系统地研究了针对NLG任务的中毒攻击，并提出了新的评估指标来衡量攻击的成功和隐蔽性。通过在多个NLG任务和数据集上的广泛实验，作者证明了即使是少量的中毒数据也足以在微调阶段成功地对LLMs进行攻击。这些发现对于理解LLMs的安全漏洞和开发有效的防御策略具有重要意义。尽管本文的研究为NLG任务的安全性提供了新的见解，但如何进一步改进评估指标和防御策略仍然是未来研究的挑战。