Scaling Behavior of Machine Translation with Large Language Models under Prompt Injection Attacks

研究背景

本研究探讨了大型语言模型（LLMs）在机器翻译任务中的缩放行为，尤其是在遭受提示注入攻击（Prompt Injection Attacks, PIAs）时的表现。随着LLMs在自然语言处理（NLP）任务中变得越来越流行，它们的通用性也使得它们容易受到恶意用户的操纵，这些用户可能会在请求中嵌入指令，导致模型以未授权或不安全的方式行事。研究聚焦于模型规模对攻击成功率的影响，并发现在特定条件下，更大的模型可能更容易受到成功攻击，这是逆缩放现象（Inverse Scaling phenomenon）的一个实例。

过去方案和缺点

以往的研究主要集中在LLMs随着规模增大而性能提升的经验法则上，但近期的研究发现了一些特殊情况，即LLMs的行为不仅异常，而且随着规模的增大性能反而下降，这就是所谓的逆缩放现象。此外，以往的研究很少关注多语言环境下LLMs的非平凡缩放行为。

本文方案和步骤

研究者创建了一个新的基准数据集，并使用多种系列的LLMs在机器翻译任务上评估了PIAs的缩放行为。研究方法包括：

1. 数据收集和预处理：基于TruthfulQA数据集构建了包含英语、德语、法语、罗马尼亚语和俄语的问答对。

2. 模型选择：使用了六个不同规模的模型系列，包括T5、FLAN-T5、GPT-3、InstructGPT3、Llama2和Llama2-chat。

3. 提示设计：针对不同模型使用了零次和少次提示。

4. 评估方法：采用了新的评价指标——问号准确率（question mark accuracy），来衡量模型输出的性能。

本文创新点与贡献

1. 首次研究了LLMs在多语言环境下的非平凡缩放行为。

2. 发现了在特定条件下，更大的模型可能更容易受到PIAs的成功攻击，表现为逆缩放现象。

3. 提出了一种新的评估指标——问号准确率，用于更准确地评估机器翻译任务中的模型性能。

本文实验

实验分为非对抗性和对抗性两种情况，分别评估了LLMs在没有遭受提示注入攻击和遭受攻击时的表现。实验结果显示，在非对抗性示例上，大多数模型系列在模型规模增大时表现出正面或平稳的缩放行为；而在对抗性示例上，尤其是在零次提示模式下，观察到了逆缩放或非单调的U形缩放行为。

实验结论

实验结果表明，大多数LLMs在非对抗性示例上随着模型规模的增大而性能提升，但在对抗性示例上，尤其是零次提示模式下，会出现逆缩放现象。此外，当提示用英语编写时，模型性能会显著下降，表明训练数据量的维度也存在逆缩放现象。

全文结论

本文通过实验研究了LLMs在机器翻译任务中的缩放行为，特别是在遭受提示注入攻击时的表现。研究发现，在某些情况下，更大的模型可能更容易受到攻击，表现出逆缩放现象。此外，模型对英语提示的敏感性也导致了性能的下降。这项研究为理解和提高LLMs的安全性和鲁棒性提供了重要的见解。

阅读总结报告

本研究针对大型语言模型在机器翻译任务中的缩放行为进行了深入分析，特别是在面对提示注入攻击时的脆弱性。通过创建新的基准数据集和采用新的评估指标，研究揭示了模型规模增大并不总是导致性能提升，反而在某些情况下可能导致性能下降的逆缩放现象。这一发现对于设计更加安全和鲁棒的LLMs系统具有重要意义。此外，研究还发现，模型对英语提示的敏感性可能影响其在多语言任务中的表现，这为未来的模型训练和调整提供了新的方向。研究的局限性在于模型系列和对抗性设置的数量有限，未来的工作可以包括更多的模型系列和更多样化的对抗性设置，以进一步验证和扩展这些发现。