Last updated
大型语言模型（LLMs）在自然语言处理（NLP）的多个任务上取得了突破性进展，特别是在少样本（few-shot）和零样本（zero-shot）的场景中。然而，由于计算资源的限制，用户通常需要使用开源的语言模型或将整个训练过程外包给第三方平台。研究显示，语言模型容易受到安全漏洞的攻击，特别是后门攻击。后门攻击通过污染训练样本或模型权重，引入针对性的漏洞，允许攻击者通过恶意触发器操纵模型的响应。
现有的关于后门攻击的研究提供了一个全面的概览，但缺乏对特定针对LLMs的后门攻击的深入研究。以往的研究多集中在触发器的设计或特定类型的后门攻击上，例如针对联邦学习中的后门攻击。这些研究没有涵盖针对LLMs的后门攻击的深度分析。
本文提出了一个新的视角，基于微调方法对LLMs的后门攻击进行分类。系统地将后门攻击分为三类：全参数微调、参数高效微调和无需微调的攻击。文章还讨论了未来研究的关键问题，如进一步探索不需要微调的攻击算法，或开发更隐蔽的攻击算法。
提供了基于微调方法对LLMs后门攻击的系统分类。
强调了参数高效微调和无需微调的后门攻击在实际部署中的可行性。
讨论了未来研究方向，包括开发不需要微调的后门攻击算法，以及如何确保LLMs的安全部署。
文章通过大量审查，提供了对后门攻击的深入理解，并讨论了关键问题和未来研究方向。虽然没有具体的实验设置，但作者通过对现有文献的分析，展示了后门攻击的不同方法和应用场景。
实验结论表明，全参数微调的后门攻击方法在计算资源有限的情况下存在局限性。而参数高效微调和无需微调的后门攻击方法降低了计算资源的需求，提高了攻击的可操作性。
本文系统回顾了基于微调技术的多种后门攻击方法，并讨论了后门攻击的潜在挑战，包括为生成任务设计更隐蔽的后门攻击方法、开发具有普遍性的触发器，以及推进不需要参数更新的后门攻击算法的研究。
本文全面调研了针对大型语言模型的后门攻击和防御策略，突出了在计算资源受限的情况下，如何有效地部署后门攻击算法的问题。文章不仅对现有的后门攻击方法进行了分类和分析，还提出了未来研究的方向，尤其是对于不需要微调的后门攻击算法的探索，这对于理解和保护LLMs免受恶意攻击具有重要意义。
