> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/vlm-attack/stop-reasoning-when-multimodal-llms-with-chain-of-thought-reasoning-meets-adversarial-images.md).
# Stop Reasoning! When Multimodal LLMs with Chain-of-Thought Reasoning Meets Adversarial Images
## 阅读总结报告
### 1. 研究背景
本研究探讨了多模态大型语言模型（MLLMs）在面对对抗性图像时的脆弱性。尽管MLLMs在图像理解方面表现出色，但它们仍然容易受到对抗性图像的影响。对抗性图像是指经过精心设计的图像，它们包含人类难以察觉的扰动，但足以使模型产生错误的预测。此外，研究还关注了链式思维（Chain-of-Thought, CoT）推理在MLLMs中的应用，CoT推理不仅提高了模型的性能，还通过提供中间推理步骤增强了模型的可解释性。然而，目前对于MLLMs在CoT推理下的对抗性鲁棒性以及在面对对抗性图像时推理过程的理解仍然不足。
### 2. 过去方案和缺点
以往的研究主要集中在传统的视觉模型上，例如图像分类器，它们对对抗性攻击非常脆弱。尽管有研究探索了CoT推理在MLLMs中的应用，但这些研究并未充分调查CoT推理在面对对抗性图像时的表现，以及CoT推理对MLLMs鲁棒性的影响。
### 3. 本文方案和步骤
本文提出了一种新的攻击技术——停止推理（stop-reasoning）攻击，该技术能够有效绕过CoT推理带来的鲁棒性增强。研究的步骤包括：
* 使用现有的攻击方法（如投影梯度下降法PGD）来生成对抗性图像。
* 引入CoT推理的攻击方法，包括针对最终答案的答案攻击和针对理由部分的推理攻击。
* 设计停止推理攻击，旨在中断推理过程，迫使模型直接回答问题。
### 4. 本文创新点与贡献
* 评估了在CoT推理下MLLMs的对抗性鲁棒性，并发现CoT对现有攻击方法的鲁棒性只有轻微提升。
* 引入了停止推理攻击技术，该技术专门针对CoT推理的MLLMs，并显示出较高的有效性。
* 通过实验揭示了MLLMs在面对对抗性图像时CoT推理的变化，为理解模型在对抗性攻击下的推理过程提供了新的见解。
### 5. 本文实验
实验使用了MiniGPT4、OpenFlamingo和LLaVA作为代表性的MLLMs，并在两个视觉问答数据集AOKVQA和ScienceQA上进行了测试。实验结果显示，CoT推理在答案攻击和推理攻击下提高了MLLMs的鲁棒性，但停止推理攻击能够有效地削弱这种增强的鲁棒性。
### 6. 实验结论
实验结果表明，CoT推理确实可以为MLLMs提供一定程度的对抗性鲁棒性，但这种增强的鲁棒性可以通过停止推理攻击轻易地被消除。此外，CoT推理在对抗性图像下的推理路径发生了变化，这为未来研究提供了新的视角。
### 7. 全文结论
本文通过全面的实验验证了CoT推理在MLLMs中对抗性鲁棒性的影响，并提出了一种新的攻击方法来对抗使用CoT推理的模型。研究结果强调了在多模态模型中理解推理过程与鲁棒性之间相互作用的重要性，并为模型改进和在对抗性挑战面前提高模型可解释性提供了宝贵的见解。
注：
停止推理攻击技术（Stop Reasoning Attack）是本文提出的一种新型攻击方法，旨在针对采用链式思维（Chain-of-Thought, CoT）推理的多模态大型语言模型（MLLMs）。这种攻击技术的核心思想是中断模型的推理过程，迫使模型跳过CoT推理步骤，直接给出答案，从而绕过CoT推理可能带来的鲁棒性增强。
#### 攻击步骤和原理：
1. **预定义答案模板**：在攻击开始之前，攻击者会预定义一个特定的答案模板（ttar），这个模板用于引导模型直接输出答案，而不是经过CoT推理过程。例如，模板可能是“答案是(B)”。
2. **输入处理**：攻击者将原始图像和文本问题输入到MLLM中，模型会生成一个干净的预测（即没有受到攻击的预测）。
3. **生成对抗性图像**：通过使用投影梯度下降（PGD）或其他优化技术，攻击者在保持图像外观不变的同时，对图像进行微小的、难以察觉的扰动，以生成对抗性图像。
4. **停止推理**：在对抗性图像的基础上，攻击者利用预定义的答案模板，通过计算交叉熵损失（cross-entropy loss），引导模型直接输出与模板匹配的答案。这样，模型就不会生成CoT推理中的中间推理步骤。
5. **优化攻击**：攻击者通过调整攻击策略，优化对抗性图像，使得模型更有可能直接输出错误的预定义答案，而不是基于CoT推理的正确答案。
#### 攻击效果：
停止推理攻击能够有效地绕过CoT推理带来的鲁棒性增强。实验结果表明，相比于答案攻击和推理攻击，停止推理攻击在破坏CoT推理的MLLMs的鲁棒性方面更为有效。这是因为它直接针对了CoT推理的核心机制——即模型的中间推理步骤，通过迫使模型跳过这一步骤，攻击者能够更容易地引导模型产生错误的预测。
#### 攻击的意义：
停止推理攻击的提出不仅展示了CoT推理在对抗性攻击下的潜在脆弱性，也为未来的防御策略提供了新的挑战。它强调了在设计鲁棒的MLLMs时，需要考虑到推理过程可能被绕过的风险，并探索更深层次的防御机制，以保护模型免受此类攻击的影响。
### 阅读总结
本研究针对多模态大型语言模型在面对对抗性图像时的脆弱性进行了深入分析，并提出了新的攻击方法和防御策略。通过实验，研究者们发现CoT推理虽然能够提高模型的鲁棒性，但这种提升是有限的，并且可以被新的停止推理攻击技术所克服。这项工作不仅为理解MLLMs在对抗性环境下的行为提供了新的视角，也为未来在这一领域的研究和模型开发提供了重要的指导。