Unified Hallucination Detection for Multimodal Large Language Models
研究背景
多模态大型语言模型（MLLMs）在模仿人类认知和学习方面取得了显著进展，为人工通用智能（AGI）的未来提供了无限可能。然而，MLLMs在生成与输入数据或已知世界知识相矛盾的看似可信内容时，会出现“幻觉”现象。这些幻觉阻碍了MLLMs的实际部署，并可能导致错误信息的传播。因此，检测MLLMs响应中的多模态幻觉变得尤为重要。
过去方案和缺点
以往的研究主要集中在特定任务上，如图像描述，忽视了文本到图像生成这一AGI的重要组成部分。此外，先前的研究在识别幻觉类别上有限，主要关注对象级别的幻觉，而没有考虑到MLLMs中经常出现的场景文本或事实不一致性。这些限制阻碍了在实际幻觉检测方面的快速进展。
本文方案和步骤
为了解决上述挑战，本文提出了一个新的元评估基准MHaluBench，用于评估幻觉检测方法的进步。同时，提出了一个新颖的统一多模态幻觉检测框架UNIHD，该框架利用一系列辅助工具来稳健地验证幻觉的发生。UNIHD框架包括以下几个步骤：
核心主张提取：从生成的响应中提取核心主张。
通过查询制定自主工具选择：促使MLLMs自主生成相关问题，以确定每个主张所需的特定工具。
并行工具执行：部署一系列专业工具并同时运行，从它们的输出中收集证据以可靠地验证潜在的幻觉。
带有理由的幻觉验证：汇总收集的证据，指导底层MLLM判断主张是否为幻觉，并提供解释。
本文创新点与贡献
提出了一个更统一的问题设置，涵盖了广泛的多模态任务和幻觉类别，丰富了对MLLMs中幻觉的统一理解。
揭示了MHaluBench，这是一个元评估基准，涵盖了各种幻觉类别和多模态任务，并具备细粒度分析特征。
引入了UNIHD，这是一个任务无关的工具增强框架，用于检测MLLMs生成内容中的幻觉。广泛的实验表明了该方法的有效性。
在本文中，作者提出了一个统一的多模态幻觉检测框架（UNIHD），并构建了一个元评估基准（MHaluBench），这些工作共同丰富了对多模态大型语言模型（MLLMs）中幻觉现象的理解
广泛的多模态任务
图像到文本（Image-to-Text）：包括图像描述（Image Captioning）和视觉问答（Visual Question Answering, VQA）任务，这些任务要求模型根据图像内容生成文本描述或回答。
文本到图像（Text-to-Image）：涉及根据文本提示生成图像的任务，如文本到图像合成（Text-to-Image Synthesis），这要求模型根据文本描述创造出相应的图像。
幻觉类别
模态冲突幻觉（Modality-Conflicting Hallucination）：模型生成的输出与输入的其他模态信息（如图像或文本）冲突，例如错误地描述图像中的对象、属性或场景文本。
事实冲突幻觉（Fact-Conflicting Hallucination）：模型输出的内容与已知的事实知识相矛盾，如生成与现实不符的叙述。
统一理解
细粒度检测：MHaluBench基准强调对幻觉进行细粒度检测，即不仅评估整个响应，而是检查响应中的每个单独主张（claim），这允许更精确的反馈以改进模型性能。
工具增强的检测：UNIHD框架通过集成多种辅助工具来验证幻觉，这些工具包括对象检测、属性检测、场景文本识别和事实验证工具。这种多工具集成的方法提供了更全面的幻觉检测能力。
自主工具选择：UNIHD框架能够自主地为每个主张选择合适的工具，这通过生成相关查询来实现，这些查询旨在确定每个主张所需的特定工具类型。
通过这些方法，作者不仅提高了对MLLMs幻觉现象的认识，还为如何检测和减轻这些幻觉提供了新的策略。这种统一的视角有助于研究者更好地理解和改进MLLMs在处理多模态信息时的可靠性和安全性。
本文实验
作者使用MHaluBench基准对UNIHD框架进行了全面评估。实验结果强调了多模态幻觉检测仍然是一个巨大的挑战，并且UNIHD在检测幻觉方面表现出色。
实验结论
实验结果表明，UNIHD在图像到文本和文本到图像生成任务中均优于其他基线检测器，强调了整合外部工具以进行更稳健的证据验证和可靠幻觉检测的好处。
全文结论
本文介绍了一个统一的多模态幻觉检测问题框架，并提出了MHaluBench基准和UNIHD框架。实验结果表明，UNIHD在多模态幻觉检测任务中表现出色，证明了其通用性和有效性。
阅读总结报告
本文针对MLLMs中的幻觉问题提出了一个统一的检测框架UNIHD，并开发了相应的评估基准MHaluBench。通过实验验证了UNIHD的有效性，展示了其在多模态任务中检测幻觉的潜力。这项工作为MLLMs的安全性和可靠性研究提供了新的视角，并为未来的研究提供了宝贵的资源。尽管存在一些局限性，如任务范围、闭源模型的定价和推理速度，以及幻觉类别的覆盖范围，但本文的研究为多模态幻觉检测领域提供了重要的贡献。
Last updated
