> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/vlm-attack/efficient-llm-jailbreaking-by-introducing-visual-modality.md).

# Efficient LLM-Jailbreaking by Introducing Visual Modality

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FQNNpsiD9qP7rGdNHpjSP%2Fimage.png?alt=media&amp;token=a7bd7ab3-37b3-40dc-8d79-66b02bf9caa0" alt=""><figcaption></figcaption></figure>

#### 1. 研究背景

本论文聚焦于针对大型语言模型（LLMs）的“越狱”（jailbreaking）攻击，这类攻击能够诱导LLMs对恶意用户查询生成不当内容。越狱攻击通常通过特定的文本后缀来实现，但现有方法效率较低，主要因为离散优化的挑战。与此同时，多模态大型语言模型（MLLMs）的出现，使得研究者开始关注在这些模型上的越狱问题，因为它们相较于纯文本LLMs更容易受到越狱攻击。

#### 2. 过去方案和缺点

过去的越狱方法主要分为两类：基于离散优化的越狱和基于嵌入的越狱。基于离散优化的方法通过直接优化文本后缀的离散标记来实现，但面临效率低下的问题。基于嵌入的方法则通过优化标记嵌入来实现，但通常因为优化后的嵌入没有对应的离散标记而失效。

#### 3. 本文方案和步骤

本文提出了一种通过构建MLLM并执行MLLM-jailbreak的高效LLM-jailbreaking方法。具体步骤包括：

* 将视觉模块整合到目标LLM中构建MLLM。
* 执行MLLM-jailbreak以生成越狱嵌入（embJS）。
* 将embJS转换为文本空间以便于越狱目标LLM。

#### 4. 本文创新点与贡献

* 提出了一种新的越狱方法，通过MLLM的构建和利用，提高了越狱的效率和成功率。
* 引入了图像-文本语义匹配方案，以识别合适的初始输入，从而提高越狱攻击的成功率。
* 提出了一种图像-文本匹配网络，使用CLIP模型来优化初始输入图像，使其嵌入与恶意查询的嵌入接近。
* 通过De-embedding和De-tokenizer操作，将越狱嵌入转换为文本后缀，提高了越狱的灵活性和跨类别越狱的能力。

#### 5. 本文实验

* 实验使用了AdvBench数据集，并将其扩展为多模态数据集AdvBench-M。
* 对比了离散优化基础方法和嵌入基础方法，展示了本文方法在效率和效果上的优势。
* 进行了白盒和黑盒越狱实验，验证了方法的跨类别越狱能力和模型间的迁移能力。

#### 6. 实验结论

实验结果表明，本文提出的方法在越狱攻击的效率和成功率上均超越了现有的最先进方法。此外，本文方法在跨类别越狱方面表现出色，且在黑盒越狱场景下具有显著的迁移能力。

#### 7. 全文结论

本文提出的LLM-jailbreaking方法通过构建MLLM并执行MLLM-jailbreak，实现了高效且有效的越狱攻击。与基于离散优化的方法相比，本文方法在效率上有显著提升；与基于嵌入的方法相比，通过视觉模块的正则化作用，确保了嵌入的有效性。此外，本文的方法为白盒和黑盒越狱提供了灵活性，并通过细粒度和自动化的越狱评估，证明了其优越性。

#### 阅读总结

本文针对当前LLMs面临的越狱攻击问题，提出了一种创新的多模态越狱方法。通过整合视觉模块到LLMs中，本文方法不仅提高了越狱的效率，还增强了攻击的成功率。此外，本文提出的图像-文本语义匹配方案和De-embedding与De-tokenizer操作，进一步提升了越狱攻击的灵活性和跨类别能力。实验结果证明了本文方法在效率、效果以及迁移能力上的优势，为未来LLMs的安全研究提供了有价值的参考。