Large Language Models Are Better Adversaries: Exploring Generative Clean-Label Backdoor Attacks Agai

研究背景

随着大型语言模型（LLMs）的发展，它们在文本分类任务中的应用变得越来越广泛。然而，这些模型容易受到后门攻击，攻击者通过在训练和测试数据中插入看似无害的触发器来操纵模型预测。特别是干净标签攻击（clean-label attacks），攻击者使用的恶意训练样本被正确标记，这使得攻击更难以检测，因为攻击内容与标签一致。

过去方案和缺点

以往的后门攻击研究主要集中在插入攻击（insertion attacks）和释义攻击（paraphrasing attacks）上。插入攻击通过向每个示例添加特定的字符、单词或短语触发器，但这些通常不符合语法，导致文本不自然。释义攻击通过修改句子的句法结构或文本风格来进行攻击，虽然产生了更自然的文本，但可能缺乏灵活性和有效性。此外，释义攻击通常需要假设恶意训练样本被错误标记（即“脏标签攻击”），以便成功。然而，许多防御方法已经显示出在减轻脏标签攻击方面的有效性，这使得干净标签攻击成为一个需要关注的问题。

本文方案和步骤

本文提出了一种名为LLMBkd的LLM启用的干净标签后门攻击。LLMBkd利用LLM自动插入基于风格的多样化触发器到文本中。此外，我们还提出了一种毒物选择技术，以提高LLMBkd以及现有文本后门攻击的有效性。最后，我们描述了一种名为REACT的基线防御方法，通过使用解毒训练样本来减轻后门攻击。

本文创新点与贡献

1. 展示了如何利用公开可用的LLMs来促进对文本分类器的干净标签后门攻击，通过新的攻击方法LLMBkd。

2. 使用多种风格触发器对LLMBkd进行了评估，并发现LLMBkd在有效性、隐蔽性和效率方面都超过了基线攻击。

3. 引入了一个简单的灰盒毒物选择技术，提高了LLMBkd及其他现有干净标签后门攻击的有效性。

4. 提出了REACT防御方案，作为一种基线解决方案，一旦识别出潜在的攻击，就可以反应性地对抗干净标签后门攻击。

本文实验

实验在四个英文数据集上评估了LLMBkd和REACT的有效性，并将它们与多个基线在不同的设置下进行了比较，包括不同的LLMs、提示策略、触发器风格、受害模型等。此外，还进行了人类评估，以验证干净标签攻击的内容标签一致性。实验结果表明LLMBkd在各种设置下都能保持高攻击成功率，并且REACT防御能够有效地对抗后门攻击。

实验结论

LLMBkd展示了LLMs在创建干净标签后门攻击方面的潜力，这些攻击在多个数据集和风格上都表现出高效和隐蔽性。REACT防御提供了一种有效的方法来对抗这些攻击，尽管需要在攻击被识别后才能实施。

全文结论

本文通过全面评估，展示了基于变换器的文本分类器对干净标签后门攻击的脆弱性。我们提出了一种新的LLM启用的数据投毒策略，通过隐藏触发器实现更高的攻击有效性和隐蔽性，并提出了一种简单的毒物选择技术来增强现有基线攻击的性能。我们还引入了一种可行的防御机制来反应性地防御所有类型的攻击。未来的工作需要开发更通用的防御方法，能够有效地普遍减轻各种攻击方案引起的投毒效应。

阅读总结报告

本篇论文提出了一种新的针对文本分类器的干净标签后门攻击方法LLMBkd，该方法利用大型语言模型（LLMs）的能力，通过指令提示自动插入多样化的风格触发器，从而在不需要模型训练或微调的情况下，生成隐蔽且高效的后门攻击样本。此外，文章还提出了一种毒物选择技术，用于提高攻击样本的有效性，并介绍了一种名为REACT的防御方法，用于在检测到攻击后通过添加解毒样本来重新训练模型，消除后门。实验结果表明，LLMBkd在多个数据集上都取得了高攻击成功率，且REACT能够有效防御后门攻击。这项工作不仅展示了LLMs在恶意攻击中的潜在用途，也为未来如何防御这类攻击提供了新的视角和工具。