DeceptPrompt: Exploiting LLM-driven Code Generation via Adversarial Natural Language Instructions

阅读总结报告

1. 研究背景

随着大型语言模型（LLMs）在代码生成领域的进步，LLMs已经能够将自然语言转换为编程代码。这些代码生成模型（如GPT-4和CodeLlama）在用户和组织中得到了广泛应用。然而，这些模型生成的代码中可能存在致命漏洞，这在实际应用中可能导致严重的安全问题。尽管一些LLM提供商尝试通过人类指导来解决这些问题，但这些努力还不足以使代码生成模型在实际应用中既实用又健壮。

2. 过去方案和缺点

以往的研究主要关注于评估LLMs在特定任务中的安全性，例如代码翻译、代码摘要和代码分类。这些研究通常通过在训练数据集中添加恶意或受损的代码来引入漏洞。然而，这些方法通常需要训练数据，并且可能牺牲代码的语义，这在实际应用中可能不切实际。

3. 本文方案和步骤

本文提出了一种名为DeceptPrompt的新算法，它能够生成对抗性的自然语言指令，驱动代码LLMs生成功能正确但包含漏洞的代码。DeceptPrompt通过系统化的基于进化的算法和精细的损失设计实现。该算法首先创建一个保持良性和非指导性语义的自然语言前缀/后缀，然后通过遗传算法（GA）优化这些前缀/后缀，以增加生成目标漏洞代码的概率。

4. 本文创新点与贡献

• 提出了一种新的攻击框架，可以在不改变代码功能的情况下，诱导LLMs生成包含特定漏洞的代码。

• 设计了一种新的损失函数，可以同时控制生成代码的功能和注入特定漏洞。

• 使用遗传算法来优化自然语言前缀/后缀，以保持语义的一致性。

5. 本文实验

实验在包括Code Llama、StarCoder和WizardCoder在内的多种流行的代码LLMs上进行。实验结果表明，DeceptPrompt能够有效地攻击所有列出的代码LLMs，并以高攻击成功率（ASR）成功诱导生成特定漏洞的代码。

6. 实验结论

实验结果验证了DeceptPrompt方法的有效性，并揭示了当前流行的代码LLMs在代码生成任务中的巨大安全弱点。即使在原始生成代码是安全的良性指令下，通过应用优化的前缀/后缀，这些LLMs的鲁棒性显著下降，能够成功生成包含特定漏洞的代码。

7. 全文结论

本文的研究结果强调了LLMs在代码生成过程中的潜在安全风险，并提出了一种新的攻击框架来评估和改进这些模型的安全性。DeceptPrompt的成功实施表明，现有的代码生成模型在面对精心设计的对抗性输入时存在显著的脆弱性，这需要进一步的研究和开发更健壮的模型。

阅读总结

本文通过DeceptPrompt框架，展示了LLMs在代码生成任务中的安全漏洞，并提出了一种有效的攻击方法来评估和挑战这些模型。实验结果表明，即使是在功能正确的情况下，LLMs也容易受到攻击，生成包含特定漏洞的代码。这一发现对于LLMs的开发者和用户来说是一个重要的警示，强调了在实际应用中需要采取额外的安全措施。