> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-defense/cross-task-defense-instruction-tuning-llms-for-content-safety.md).

# Cross-Task Defense: Instruction-Tuning LLMs for Content Safety

<figure><img src="/files/zWNuwcwL9E7NA83fUxl5" alt=""><figcaption></figcaption></figure>

#### 研究背景

随着大型语言模型（LLMs）在自然语言处理（NLP）任务中展现出卓越的能力，研究者开始关注它们的安全性。当前的LLMs容易受到各种攻击，尤其是当处理恶意查询或有害文档时。尽管已有一些防御方法针对恶意短问题，但LLMs在安全处理长文本内容方面的能力仍然不明确。

#### 过去方案和缺点

现有的防御方法，包括释义和对抗性训练，主要集中于阻止恶意的短问题，例如GCG攻击。然而，这些防御措施对于没有对抗性后缀的长恶意文本的有效性尚不清楚。此外，基于困惑度的分类器不容易检测到这些长文本，攻击者可能会利用这一点来让LLMs处理恶意文档。

#### 本文方案和步骤

为了提高LLMs处理恶意文档的能力，本文提出了一种防御数据集，包含与安全性相关的例子，并提出了单任务和混合任务损失的指令调整方法。具体步骤如下：

1. 构建防御数据集：收集恶意长文档，并生成拒绝响应。
2. 指令调整：使用\[NLP任务指令，恶意文档，拒绝答案]三元组进行指令调整。
3. 混合训练：在不同NLP任务上进行混合训练，以提高模型的泛化能力。

#### 本文创新点与贡献

1. 提出了一种新的防御数据集，专门针对LLMs在处理恶意文档时的安全问题。
2. 引入了单任务和混合任务损失的指令调整方法，以提高LLMs在处理恶意内容时的安全性。
3. 通过实验发现，对最易受滥用的任务（如摘要生成）进行加固可以提高整体防御效果。
4. 观察到在防御策略中存在实用性和安全性之间的权衡，并发现Llama2在使用提出的方法时，与Llama1相比，显示出更好的平衡。

#### 本文实验

实验设置如下：

* 在两个LLMs（Llama1-7B和Llama2-7B）上进行指令调整。
* 使用LoRA进行微调，设置了最大长度为1024的示例。
* 评估了不同数量的防御/拒绝示例对模型防御能力的影响。
* 包括了摘要、翻译、情感分析、案例转换和下一句预测等五种NLP任务。

#### 实验结论

* 通过指令调整，LLMs能够有效地阻止恶意文档的处理，同时保持对良性查询的有效处理。
* 在摘要任务上进行训练可以带来最佳的跨任务防御效果。
* Llama2-7B在保持实用性的同时，提供了更好的安全性平衡。

#### 全文结论

本文通过引入新的防御数据集和指令调整方法，成功提高了LLMs在处理恶意内容时的安全性，同时保持了对良性文档的处理能力。实验结果表明，通过适当的指令调整，可以显著提高LLMs安全处理危险内容的能力，并且在防御策略中找到了实用性和安全性之间的更好平衡。

#### 阅读总结报告

这篇论文针对大型语言模型在处理恶意文档时的安全问题，提出了一种新的防御策略。通过构建专门的防御数据集和采用单任务与混合任务损失的指令调整方法，研究者们显著提高了LLMs的安全性能。实验结果表明，该方法不仅能够有效地阻止恶意文档的处理，还能够保持对良性文档的处理能力，实现了安全性与实用性之间的良好平衡。此外，论文还指出了在不同NLP任务中防御效果的差异，以及如何通过选择适当的训练策略来避免过拟合问题。这项研究为提高LLMs的安全性提供了有价值的见解和方法，对于未来LLMs的安全性研究和应用具有重要的指导意义。