> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/vlm-attack/hijacking-context-in-large-multi-modal-models.md).

# Hijacking Context in Large Multi-modal Models

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FnqjosDR20iSOuGZtSUWO%2Fimage.png?alt=media&amp;token=000240bb-de91-4053-9f0b-4650afd7fc2d" alt=""><figcaption></figcaption></figure>

## 阅读总结报告

### 1. 研究背景

本研究关注的是大型多模态模型（Large Multi-modal Models, LMMs）在理解图像内容时的一个新的局限性，即上下文劫持（context hijacking）。LMMs建立在大型语言模型（Large Language Models, LLMs）的基础上，继承了其在上下文学习（in-context learning）的能力，即通过一系列图像和文本的连贯序列作为输入提示来生成响应。然而，研究发现，即使是一小部分不连贯的图像或文本描述也可能导致LMMs产生关于劫持上下文的偏见输出，而非原本预期的上下文。

### 2. 过去方案和缺点

以往的LMMs在处理图像和文本信息时，通常假设输入的上下文是连贯和一致的。这些模型在面对不连贯或无关的信息时，容易受到干扰，从而产生不连贯的响应。这种上下文劫持问题在现实世界的应用场景中尤为突出，因为无法保证输入数据中不存在噪声或无关信息。因此，现有的LMMs在处理这类问题时缺乏鲁棒性。

### 3. 本文方案和步骤

为了解决上下文劫持问题，研究者提出了一种预过滤方法，通过GPT-4V的提示来移除无关上下文。GPT-4V对于上下文内的分布变化具有较强的鲁棒性。研究者还探讨了通过GPT-4V和文本到图像模型替换劫持的视觉和文本上下文，以产生连贯响应的可能性。

### 4. 本文创新点与贡献

* **识别新问题**：首次识别并提出了LMMs中的上下文劫持问题，这可能影响LMMs的可靠使用。
* **提出解决方案**：提出了一种简单的预过滤方法，通过GPT-4V来抑制劫持上下文，基于其对上下文分布变化的鲁棒性。
* **探索新方向**：研究了是否可以通过替换劫持上下文来产生更连贯的响应，为未来的研究开辟了新的方向。

### 5. 本文实验

实验部分主要集中在定性示例上，使用了VIST数据集来展示问题和方法。研究者通过GPT-4V过滤无关上下文，并尝试通过GPT-4和DALLE-3生成连贯的图像和文本来改善LMMs的响应。

### 6. 实验结论

实验表明，通过预过滤方法可以有效地移除无关上下文，从而防止LMMs产生劫持响应。然而，尽管尝试了替换劫持上下文，LMMs仍然可能产生不连贯的响应，这可能是由于生成的文本和图像与原始上下文的混合，或者是生成图像的风格和纹理与原始图像序列不一致。

### 7. 全文结论

研究者总结了上下文劫持问题，并提出了基于基础模型的简单过滤技术来预先移除劫持上下文。此外，研究者还探讨了将劫持上下文转换为连贯上下文的可能性，为未来生成更连贯的视觉和文本信息的研究提供了方向。

注1：

基于本文内容，上下文劫持问题（context hijacking）是指在大型多模态模型（LMMs）处理图像和文本信息时，模型可能会因为输入中的一小部分不连贯或无关的图像和文本描述而产生误导，导致模型只生成关于这些不相关上下文的偏见输出，而不是关于原本预期上下文的响应。

具体来说，当LMMs接收到一系列连贯的图像和文本序列作为输入提示时，它们通常能够理解这些内容并生成相应的、连贯的输出。然而，如果在这些连贯的序列中插入一个或多个与主题无关的图像-文本对，模型可能会忽略之前的连贯上下文，而只对这些无关的信息做出响应。这种现象就是上下文劫持，它会导致模型的输出失去连贯性，偏离了原本的任务目标。

例如，在本文中提到的一个实验中，当向一个关于家庭访问祖母的故事序列中插入一个描述足球比赛的图像-文本对时，LMM可能会忽略整个家庭故事的上下文，而只生成关于足球比赛的描述，这就是上下文劫持的一个例子。这个问题在实际应用中可能导致模型输出不准确或不相关的内容，从而影响模型的可靠性和实用性。

注2：

多模态模型（Multi-modal Models）的设计和应用可以非常灵活，它们不仅限于处理单张图片。实际上，多模态模型可以同时处理多种形式的数据，包括图像、文本、音频等。在处理图像方面，多模态模型可以采取以下几种方式：

1. **单张图像**：多模态模型可以设计成处理单个图像，例如在图像分类、物体检测或图像描述生成等任务中。
2. **图像序列**：在某些应用场景中，多模态模型需要理解一系列图像之间的关联，如视频理解、图像故事讲述或连续视觉任务。
3. **图像与文本的组合**：多模态模型可以同时处理图像和文本信息，例如在图像标注、视觉问答（Visual Question Answering, VQA）或图像-文本匹配任务中。
4. **图像集合**：在某些情况下，模型可能需要从一组图像中提取信息，例如在图像检索任务中，模型需要从多个候选图像中找到与给定查询最相关的图像。

在本文中提到的上下文劫持问题，就是在处理一系列图像和对应的文本描述时出现的。模型需要理解这些图像和文本之间的连贯性，并在此基础上生成合适的响应。当序列中的某些图像-文本对与主要上下文不相关时，就可能导致模型的输出偏离预期，这就是上下文劫持问题。因此，多模态模型确实可以处理多张图片，并且需要在设计时考虑到如何处理这些多张图片之间的关系。

### 阅读总结

本文针对大型多模态模型在处理图像和文本信息时可能出现的上下文劫持问题进行了深入研究。通过识别这一新问题，并提出基于GPT-4V的预过滤方法，研究者为提高LMMs在现实世界应用中的鲁棒性和可靠性提供了新的解决方案。此外，本文的实验和讨论为未来在这一领域的研究提供了新的思路和方向。尽管目前的方法还存在局限性，但这一研究无疑为多模态模型的发展和改进提供了宝贵的贡献。