Last updated
随着大型语言模型（LLMs）的发展，它们在理解和生成语言内容方面的能力得到了极大的提升。这些模型的应用范围不断扩大，包括与计算机视觉系统的结合，从而产生了大型视觉-语言模型（LVLMs）。LVLMs在图像推理任务中表现出色，但它们在处理图像时存在幻觉问题，即模型可能会生成与视觉内容无关的信息，这在将LLMs与视觉技术结合时造成了挑战。
以往的研究主要集中在检测和评估LVLMs的幻觉问题，以及尝试减少幻觉发生的方法。然而，这些方法通常依赖于训练分类器来识别幻觉，或者通过比较输出与准确答案来检测不准确性。这些方法在减少幻觉方面取得了一定的进展，但仍然存在局限性，特别是在处理复杂的视觉-语言任务时。
本文介绍了“HALLUSIONBENCH”，这是一个全面的基准测试，旨在评估图像-上下文推理能力。它通过强调对视觉数据的细微理解和解释，对先进的LVLMs（如GPT-4V(ision)、Gemini Pro Vision和LLaVA-1.5）提出了重大挑战。HALLUSIONBENCH包含346张图像和1129个问题，这些问题都是由人类专家精心设计的。本文还引入了一种新颖的视觉问题结构，以建立对照组，使得能够对模型的响应倾向、逻辑一致性和各种失败模式进行定量分析。
提出了HALLUSIONBENCH，这是第一个针对LVLMs的高级诊断套件，用于系统地剖析和分析其多样化的失败模式。
评估了14种最新方法在HALLUSIONBENCH上的表现，发现最先进的GPT-4V仅实现了31.42%的问题对准确率，而其他所有方法的准确率均低于16%。
通过HALLUSIONBENCH对LVLMs（如GPT-4V和LLaVA-1.5）的失败案例进行了深入分析，并提供了基于定量分析的见解。
实验部分对14种不同的模型进行了大规模实验，包括GPT-4V、LLaVA-1.5等。实验结果显示，GPT-4V在问题对准确率上表现最佳，但仍然远低于理想水平。此外，实验还包括了对模型在不同类型的视觉问题上的表现进行分析，包括视觉依赖问题和视觉补充问题。
实验结果表明，尽管LVLMs在许多应用中表现出色，但它们在处理视觉数据时仍然存在显著的幻觉问题。这些问题包括语言幻觉和视觉幻觉，其中模型可能会在没有视觉输入的情况下得出结论，或者在视觉输入存在时错误地解释图像。
HALLUSIONBENCH作为一个高级诊断工具，揭示了LVLMs在图像-上下文推理任务中的局限性，并为未来的改进提供了潜在的路径。通过深入分析模型的失败案例，研究者可以更好地理解LVLMs的弱点，并据此进行微调和改进。
本篇论文介绍了HALLUSIONBENCH，这是一个旨在评估和诊断大型视觉-语言模型（LVLMs）在图像上下文推理任务中的性能的基准测试。研究背景强调了LVLMs在集成语言理解和视觉解释方面的重要性，以及它们在处理视觉数据时面临的幻觉问题。过去的方案在减少幻觉方面取得了一定进展，但仍存在局限性。
本文提出的HALLUSIONBENCH方案通过精心设计的视觉问题和对照组结构，对LVLMs的响应倾向和失败模式进行了定量分析。创新点在于它是第一个针对LVLMs的高级诊断套件，能够系统地分析模型的多样化失败模式。实验部分对14种不同的模型进行了评估，结果显示最先进的GPT-4V在问题对准确率上仅达到31.42%，远低于理想水平。
实验结论揭示了LVLMs在图像-上下文推理任务中存在的幻觉问题，包括语言幻觉和视觉幻觉。这些发现为未来的研究提供了宝贵的见解，并为LVLMs的改进提供了潜在的路径。总的来说，HALLUSIONBENCH作为一个诊断工具，不仅揭示了现有模型的弱点，也为未来的模型发展和优化提供了方向。
