# LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FlSMDnn8O1kuBxfj3Bs9w%2Fimage.png?alt=media&#x26;token=27ff0455-8a27-49e7-a7b8-744a387c1e7a" alt=""><figcaption></figcaption></figure>

##

### 1. 研究背景

本研究聚焦于大型语言模型（LLMs）的微调方法，特别是低秩适应（LoRA），这是一种高效的微调机制，允许最终用户通过开源平台轻松发布和采用轻量级的LoRA模块来定制模型以适应不同的下游任务。然而，这种分享和使用LoRA模块的设置打开了新的攻击面，攻击者可以利用LoRA进行后门注入，并将对抗性的LoRA广泛分发给社区，可能导致严重的后果。尽管分享LoRA模块存在巨大的潜在风险，但这一方面的问题尚未得到充分探讨。

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FF98YSC1WLwHvvkIIdP01%2Fimage.png?alt=media&#x26;token=0e3a55f5-e82b-43c3-9fc2-4defeac8d64b" alt=""><figcaption></figcaption></figure>

### 2. 过去方案和缺点

过去的研究主要集中在通过微调降低模型的对齐度，其中LoRA被视为一种高效的完全微调替代方案。然而，这些研究没有考虑到在分享和使用的背景下LoRA的潜在风险，使得相关的攻击面未被充分探索。

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FMpmmfcounZwWpldk4fMQ%2Fimage.png?alt=media&#x26;token=395b1d12-80af-41be-a3a7-11be058df8c6" alt=""><figcaption></figcaption></figure>

### 3. 本文方案和步骤

本文首先探讨了攻击者如何通过开源平台分发恶意LoRA模块，然后深入研究了LoRA的感染机制，特别是后门注入。研究者提出了一种无需训练的后门注入机制，并探讨了多个LoRA模块同时存在时后门攻击的影响以及基于LoRA的后门转移性。

### 4. 本文创新点与贡献

本文的创新点在于首次广泛调查了攻击者如何利用LoRA作为一种攻击手段，特别是通过后门攻击来凸显LoRA采用的安全问题。研究者提出了一种新的无需训练的后门注入方法，并探讨了在多个LoRA模块共存的情况下后门行为的影响，以及LoRA后门的跨模型转移性。

### 5. 本文实验

实验部分，研究者通过两个具体的后门攻击示例来展示如何利用LoRA进行攻击，包括情感引导攻击和内容注入攻击。实验结果显示，即使在多个LoRA模块共存的情况下，后门行为仍然可以持续存在，并且可以通过防御性LoRA来减轻后门效应。此外，研究者还探讨了LoRA后门在不同基础模型之间的转移性。

### 6. 实验结论

实验结果表明，攻击者可以有效地在LoRA中植入后门，而不会影响其原始功能，这使得恶意LoRA模块可以被广泛分发。此外，即使在多个LoRA模块共存的情况下，后门行为也可以持续存在，并且可以通过防御性LoRA来减轻后门效应。最后，LoRA后门可以在不同基础模型之间转移，这强调了需要解决LoRA作为攻击向量的风险。

### 7. 全文结论

LoRA因其效率和易用性而广泛使用，但也可能被攻击者用作对抗工具。LoRA作为攻击者的研究尚未充分探索。本文深入调查了LoRA分享和使用设置中暴露的新攻击面，并提出了积极的防御措施，以避免由LoRA引起的安全问题。

### 阅读总结

本研究深入探讨了LoRA在分享和使用场景下的安全风险，特别是后门攻击的潜在威胁。通过实验验证了攻击者可以如何有效地利用LoRA进行攻击，以及后门行为在多个LoRA模块共存和跨模型转移时的表现。研究结果强调了在LoRA的分享和使用中需要采取积极的安全措施，以防止潜在的恶意行为。
