# EFUF: Efficient Fine-grained Unlearning Framework for Mitigating Hallucinations in Multimodal Large ##

## 阅读总结报告 ### 1. 研究背景多模态大型语言模型（MLLMs）在人工智能领域取得了显著进展，尤其在人机交互、数据处理和自动化内容生成方面。然而，这些模型在生成描述时可能会出现所谓的“幻觉”现象，即生成与图像不相符的对象。这种现象可能导致信息误导，影响用户对下游应用的信任。

### 2. 过去方案和缺点现有的方法通过手动标注包含和不包含幻觉的成对响应，然后使用各种对齐算法来提高图像和文本之间的对齐能力。这些方法不仅在微调阶段需要大量的计算资源，而且需要昂贵的人工标注来构建对齐算法所需的成对数据。

### 3. 本文方案和步骤本文提出了一种高效的细粒度反学习框架（EFUF），无需成对数据即可消除幻觉。EFUF的核心思想是通过反学习策略，利用CLIP模型评估文本和图像的一致性，然后根据CLIP分数筛选出正面和负面样本。在微调阶段，EFUF通过三种不同的损失函数（正损失、负损失和句子损失）来调整模型，以减少幻觉同时保持生成质量。 ### 4. 本文创新点与贡献 * 提出了一种新的视角，利用反学习来减轻MLLMs中的多模态幻觉。 * 提出了EFUF框架，能够以成本效益和可靠的方式来获取正面和负面示例。 * EFUF具有良好的兼容性，可以轻松扩展到现有的MLLMs，实验验证了方法的有效性。 ### 5. 本文实验实验使用了MSCOCO数据集，并在多个MLLMs（如MiniGPT4、mPLUG-owl、LLaVA和ShareGPT4V）上进行了评估。实验结果表明，EFUF在降低幻觉率的同时，保持了生成质量。 ### 6. 实验结论 EFUF在不同MLLMs上表现出一致的幻觉率降低效果，并且在保持模型整体性能的同时，提高了生成质量。这表明EFUF是一个有效的幻觉缓解方法。 ### 7. 全文结论本文通过利用文本-图像相似性来识别多模态幻觉，并提出了一种新的反学习策略来减轻MLLM中的幻觉。EFUF通过筛选不同样本并设计三种不同的损失函数来执行反学习，实验结果证明了其有效性。 ### 阅读总结本文针对多模态大型语言模型中的幻觉问题，提出了一种创新的反学习框架EFUF。该框架通过利用CLIP模型评估文本和图像的一致性，有效地减少了幻觉的发生，同时保持了模型的生成质量。EFUF的提出不仅解决了现有方法的计算和人工标注成本问题，而且提高了模型在多模态任务中的可靠性和准确性。实验结果表明，EFUF在多个基线模型上都取得了显著的性能提升，证明了其在多模态幻觉缓解方面的潜力。