Red Teaming Visual Language Models
PreviousWhy Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in AdversarialNextUnified Hallucination Detection for Multimodal Large Language Models
Last updated
Last updated
视觉语言模型（VLMs）扩展了大型语言模型（LLMs）的能力，使其能够接受多模态输入。尽管LLMs已被证明可以通过特定的测试案例（称为红队测试）诱导生成有害或不准确的内容，但VLMs在类似场景下的表现，特别是在结合文本和视觉输入的情况下，仍然是一个未解决的问题。
以往的研究主要集中在LLMs上，对于VLMs的红队测试（Red Teaming）缺乏全面和系统的基准测试。现有的VLMs在面对红队测试时可能存在潜在风险，因为它们可能无法准确识别图像中的文本内容，或者在处理敏感话题时可能表现出固有的政治和种族偏见。
本文提出了一个新的红队测试数据集RTVLM，它包含10个子任务，涵盖4个主要方面：忠实度、隐私、安全和公平性。RTVLM是第一个针对这4个不同方面的VLMs进行基准测试的数据集。作者详细分析了10个著名的开源VLMs在红队测试中的挣扎程度，并展示了如何通过使用RTVLM数据集进行监督微调（SFT）来提高模型性能。
提出了第一个针对VLMs的红队测试数据集RTVLM。
通过实验分析了现有开源VLMs在红队测试中的性能，并展示了与GPT-4V的性能差距。
展示了通过RTVLM数据集进行SFT可以显著提高模型在红队测试中的性能。
作者使用RTVLM数据集测试了一系列VLMs，并分析了它们在忠实度、隐私、安全和公平性四个维度上的表现。实验结果表明，所有测试的开源VLMs在红队测试中都表现出不同程度的挣扎，与GPT-4V相比性能差距高达31%。此外，通过在LLaVA-v1.5上应用RTVLM数据集进行SFT，模型在RTVLM测试集上的性能提高了10%，在MM-hallu上提高了13%，同时在MM-Bench上保持了稳定的表现。
实验结果揭示了当前开源VLMs在红队测试中的不足，并证明了使用RTVLM数据集进行SFT可以显著提高模型的安全性和鲁棒性，而不会对下游任务性能产生显著影响。
本文的研究强调了VLMs在安全方面的脆弱性，并提出了一种新的红队测试数据集RTVLM，用于评估和改进VLMs的安全性。通过实验，作者证明了通过红队测试对齐可以显著提高VLMs的性能，为未来的VLMs安全研究提供了有价值的见解和参考。
本研究针对视觉语言模型（VLMs）在面对红队测试时的安全性问题进行了深入探讨。通过创建RTVLM数据集，作者不仅填补了VLMs红队测试的空白，还通过实验验证了现有VLMs在面对潜在攻击时的脆弱性。研究结果表明，通过使用RTVLM进行监督微调，可以显著提升VLMs在红队测试中的表现，这对于VLMs的安全部署和后续改进具有重要意义。这项工作为VLMs的安全研究领域提供了新的视角，并为未来的研究和实践提供了宝贵的资源。
