> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/others/llm-resistant-math-word-problem-generation-via-adversarial-attacks.md). # LLM-Resistant Math Word Problem Generation via Adversarial Attacks

## 研究背景大型语言模型（LLMs）在教育领域中的应用已经引起了广泛关注，尤其是在学生获取信息和完成作业的方式上。然而，随着这些模型的能力不断增强，教育者面临着如何准确评估学生真实问题解决能力的挑战。现有的抄袭检测工具难以跟上LLMs的快速发展，这导致了对更先进的反抄袭方法的需求。 ## 过去方案和缺点以往的研究主要集中在开发提示（prompts）来引导LLMs产生特定输出的对抗性攻击。这些方法通常关注于如何通过修改提示来欺骗模型，使其产生错误的预测。然而，这些方法在保持问题结构和难度的同时，对LLMs的数学问题解决能力的影响有限。

## 本文方案和步骤本文提出了一种新的方法，通过生成对抗性示例来确保公平评估。这些示例在保持原始问题的结构和难度的同时，使LLMs无法解决。研究者们专注于数学文字问题（MWPs），利用抽象语法树（AST）结构化地生成对抗性示例，通过简单地编辑问题中的数值来使LLMs产生错误答案。 ## 本文创新点与贡献 * 提出了一种新的对抗性攻击范式，用于生成LLMs无法解决的数学问题。 * 使用AST来系统地生成对抗性问题，同时保持问题的一致性、风格和难度。 * 提出了一种成本效益的方法来攻击高成本模型，实现了请求率的显著降低，同时不牺牲性能。 * 通过自动分析数学问题，研究了LLMs在数学能力上的失败原因，为未来的研究提供了指导。 ## 本文实验实验在多个开源和闭源LLMs上进行，包括MetaMath、Mistral、Llama-2、WizardMath、Vicuna、CodeLlama、GPT-4-Turbo和GPT-3.5-Turbo。实验结果表明，所提出的方法在各种LLMs上显著降低了数学问题解决能力。 ## 实验结论实验结果表明，通过改变数学问题中的数值，可以有效地降低LLMs的准确性。即使是在最严格的生成方法（M3）下，所有模型的性能都有所下降。此外，研究还发现，不同模型之间存在共享的数学脆弱性。 ## 全文结论本文通过利用AST生成对抗性数学问题，显著降低了LLMs的数学问题解决能力，同时保持了问题的原始难度和一致性。研究不仅为确保教育评估的公平性提供了新的方法，而且为LLMs在教育中的伦理使用提供了有价值的见解。 ## 阅读总结报告本研究针对LLMs在教育评估中的潜在不公平性问题，提出了一种生成对抗性数学问题的新方法。通过编辑数值并利用AST，研究者成功地创建了LLMs无法解决的问题，同时保持了问题的原始结构和难度。这一方法不仅对现有的LLMs构成了挑战，而且为未来开发更健壮、更符合伦理的教育工具提供了新的思路。此外，研究还揭示了LLMs在数学问题解决方面的局限性，这对于理解这些模型的工作原理具有重要意义。