> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/vlm-attack/onthe-adversarial-robustness-of-multi-modal-foundation-models.md).

# Onthe Adversarial Robustness of Multi-Modal Foundation Models

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FQEVwOk60mKcKujPjenVk%2Fimage.png?alt=media&amp;token=cff279bf-07ca-4442-b18e-8876647717df" alt=""><figcaption></figcaption></figure>

## 阅读总结报告

### 1. 研究背景

本文研究的背景是多模态基础模型（如结合视觉和语言模型的Flamingo或GPT-4）在近年来引起了巨大兴趣。这些模型在图像描述、视觉问答（VQA）等任务中展现出了巨大潜力。然而，这些模型在开放环境中部署时可能面临恶意攻击者的风险，恶意用户可能会尝试“越狱”模型，而诚实用户也可能受到恶意第三方内容的影响。

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2Fz48pYCTJaDJvF7ltGUpN%2Fimage.png?alt=media&amp;token=ca0c8179-f369-49b5-8f35-f99264b0ebea" alt=""><figcaption></figcaption></figure>

### 2. 过去方案和缺点

过去的研究主要集中在对抗性攻击对单模态模型的影响，尤其是处理图像数据的模型。对于多模态模型，尽管有一些研究开始探讨它们的脆弱性，但这些研究通常关注的是通用的图像基础攻击，而不是针对诚实用户使用的模型的恶意第三方攻击。

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FS04t7Ages6pDnWJzFTQO%2Fimage.png?alt=media&amp;token=0e15bffd-47ee-4f73-98fd-2b2d7c29f2a2" alt=""><figcaption></figcaption></figure>

### 3. 本文方案和步骤

本文提出了一个新的框架来评估多模态模型对对抗性视觉攻击的易感性。研究者们探索了两种类型的攻击：有目标攻击和无目标攻击。有目标攻击允许攻击者操纵模型产生特定的期望输出，而无目标攻击旨在降低输出质量。研究者们还展示了这种脆弱性在现实世界中的影响，特别是传播虚假信息、用户操纵和欺诈的潜在滥用场景。

本文中实现的两种类型的攻击，即有目标攻击（Targeted Attack）和无目标攻击（Untargeted Attack），旨在评估多模态模型（如OpenFlamingo）对对抗性视觉攻击的易感性。以下是这两种攻击的具体实现方法：

#### 有目标攻击（Targeted Attack）

有目标攻击的目的是让模型产生攻击者期望的特定输出。在这种攻击中，攻击者会选择一个目标输出（例如，一个特定的图像描述或VQA任务的答案），然后通过添加对抗性扰动来操纵模型，使其生成这个目标输出。

实现步骤如下：

1. **目标选择**：攻击者确定一个目标输出`ˆy`，这是他们希望模型产生的输出。
2. **模型输入**：攻击者有一个查询图像`q`和可能的上下文图像`c`。
3. **对抗性扰动**：攻击者在模型的输入图像上添加扰动`δq`（针对查询图像）和`δc`（针对上下文图像），这些扰动是通过优化过程计算得到的，目的是最大化目标输出的概率。
4. **优化过程**：使用交替投影梯度下降（APGD）等迭代梯度方法来优化扰动，使得模型输出与目标输出尽可能接近。目标函数是最小化负对数似然，即最大化目标输出的似然。

对于目标攻击，攻击者有一个特定的目标输出，例如希望模型生成一段特定的误导性文本。目标攻击的目标函数设计是为了使得模型的输出尽可能接近这个目标输出。在这种情况下，目标函数的形式通常是目标输出的对数似然的负值，因为对数似然衡量的是模型输出与目标输出的匹配程度。具体来说，目标函数可以表示为：

\[ \text{Objective} = -\sum\_{l=1}^{m} \log p(\hat{y}*l | y*{\<l}, x + \delta) ]

其中：

* ( \hat{y}\_l ) 是目标输出中的第 ( l ) 个语言标记（例如，一个单词或字符）。
* ( y\_{\<l} ) 表示所有先于 ( \hat{y}\_l ) 的语言标记序列。
* ( x ) 是原始输入图像。
* ( \delta ) 是加到输入图像上的扰动，其目的是使得模型的输出接近目标输出。
* ( p(\hat{y}*l | y*{\<l}, x + \delta) ) 是在给定前面的输出和经过扰动的输入图像的情况下，模型预测下一个语言标记的概率。

目标函数的目的是最小化这个负对数似然，这意味着我们希望增加模型输出与目标输出匹配的可能性。在实际操作中，这通常通过梯度下降或其变体（如项目梯度下降）来实现，这些方法会调整输入图像的扰动 ( \delta ) 以减少目标函数的值。

在攻击过程中，攻击者会计算目标函数相对于扰动 ( \delta ) 的梯度，并使用这个梯度来更新扰动，使得模型的输出更接近目标输出。这个过程会迭代进行，直到达到一定的迭代次数或满足其他停止条件（例如，模型输出已经足够接近目标输出）。

通过这种方式，攻击者可以生成一个经过精心设计的扰动图像，该图像在视觉上与原始图像几乎无法区分，但会导致模型生成攻击者所期望的特定输出。这种攻击展示了多模态模型在面对对抗性样本时的脆弱性，特别是在图像描述和视觉问答等任务中。

#### 无目标攻击（Untargeted Attack）

无目标攻击的目的是降低模型输出的质量，而不是特定地操纵输出。这种攻击旨在使模型的输出与真实输出尽可能不相关。

实现步骤如下：

1. **模型输入**：攻击者有一个查询图像`q`和真实输出`y`，以及可能的上下文图像`c`和上下文文本`z`。
2. **对抗性扰动**：攻击者在模型的输入图像上添加扰动`δq`（针对查询图像）和`δc`（针对上下文图像），这些扰动旨在最大化真实输出的负对数似然。
3. **优化过程**：同样使用APGD等方法来优化扰动，目的是使模型输出与真实输出的差异最大化。

#### 实验设置

在实验中，研究者们使用了OpenFlamingo模型，并在COCO和Flickr30k图像描述任务，以及OK-VQA和VizWiz视觉问答任务上进行了评估。他们使用了不同的威胁模型（例如，ℓ∞-球体，其中扰动的范数被限制在一个特定的半径ε内）来模拟攻击者可能施加的扰动。

#### 结论

实验结果表明，即使是微小的对抗性扰动，也能显著影响模型的输出质量。有目标攻击允许攻击者精确控制模型的输出，而无目标攻击则导致模型输出质量的普遍下降。这些发现强调了在多模态模型中实施对抗性攻击防御措施的重要性。

### 4. 本文创新点与贡献

* 提出了一个新的评估框架，专门针对多模态模型的对抗性视觉攻击。
* 展示了即使对于人类几乎不可感知的微小扰动，也能显著影响模型的输出。
* 强调了对抗性攻击对诚实用户可能造成的潜在伤害，这在以往的研究中并未得到充分关注。

### 5. 本文实验

实验使用了OpenFlamingo模型，这是一个开源的Flamingo模型实现。研究者们在COCO 2014和Flickr30k图像描述任务，以及OK-VQA和VizWiz视觉问答任务上进行了评估。实验结果表明，即使是微小的对抗性扰动，也能显著降低模型在这些任务上的表现。

### 6. 实验结论

实验结果表明，OpenFlamingo模型对于对抗性攻击非常脆弱。即使是微小的扰动，也能导致模型生成不准确或误导性的输出。这强调了在设计多模态模型时，需要考虑对抗性攻击的鲁棒性。

### 7. 全文结论

本文的研究强调了多模态基础模型在面对对抗性攻击时的脆弱性，并指出了这种脆弱性可能对用户造成的严重后果。研究者们呼吁开发更健壮的对抗性攻击防御策略，以确保这些模型在现实世界中的安全应用。

### 阅读总结

本文通过对OpenFlamingo模型的对抗性攻击研究，揭示了多模态基础模型在实际应用中可能面临的安全挑战。研究不仅展示了模型对微小扰动的敏感性，还强调了对抗性攻击可能对用户行为和决策产生的负面影响。这一发现对于多模态模型的开发者和用户来说是一个重要的警示，强调了在模型设计和部署中考虑安全性的必要性。未来的研究应继续探索如何提高这些模型的鲁棒性，以抵御潜在的对抗性攻击。