> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/others/in-search-of-truth-an-interrogation-approach-to-hallucination-detection.md).

# In Search of Truth: An Interrogation Approach to Hallucination Detection

<figure><img src="https://1203660092-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FVIbHxVNUonwDG5X6HrVv%2Fuploads%2FRRaCeVWWSXU0Q7ybr9WG%2Fimage.png?alt=media&amp;token=dfe5a1a5-7102-4407-be7e-46d53e7d0170" alt=""><figcaption></figcaption></figure>

## 研究背景

大型语言模型（LLMs）在自然语言处理领域取得了革命性的进展，使得机器能够以前所未有的流畅度和连贯性理解和生成类似人类的文本。这些模型通过大量文本数据的训练，展现出在各种应用中的卓越能力，如自动化内容生成、虚拟助手等。然而，尽管LLMs的性能显著，它们在真实世界应用中的部署仍面临挑战，尤其是所谓的“幻觉”现象，即模型生成的文本虽然听起来真实，但却偏离了事实真相。这种现象对于LLMs的可信度和可靠性构成了严重威胁，尤其是在涉及关键信息或决策过程的场合。

## 过去方案和缺点

以往的研究已经探索了在多种自然语言生成任务中出现的幻觉问题，包括翻译、摘要、对话生成和问答系统。这些方法通常依赖于表面层次的度量，如流畅性和连贯性，但这些度量可能无法有效捕捉幻觉的根本问题。此外，一些方法需要标记数据进行监督训练，或者需要访问语言模型的内部状态，这在实际情况中可能难以实现。

## 本文方案和步骤

本文提出了一种名为InterrogateLLM的新方法，用于检测LLMs生成文本中的幻觉。该方法受到人类审讯技术中重复访谈的启发，通过系统性地评估模型生成的响应来检测潜在的幻觉。具体步骤如下：

1. **正向查询**：将一个few-shot提示（包含一系列问题-答案对）和一个查询Q输入到前向语言模型（FLLM），生成答案A\*。
2. **反向重构**：将FLLM生成的答案A*与反向提示（答案-问题对）结合，并传递给后向语言模型（BLLM），以生成一系列重构的查询Q*。
3. **文本嵌入**：使用语言嵌入模型将原始查询Q和重构查询Q\*转换为嵌入向量。
4. **验证**：计算原始查询嵌入向量和重构查询嵌入向量之间的余弦相似度，如果相似度超过预定阈值τ，则认为生成的答案A\*存在幻觉。

## 本文创新点与贡献

1. 提出了InterrogateLLM方法，专门用于检测LLMs生成文本中的幻觉。
2. 设计了一种创新的评估方法，针对幻觉检测任务，利用三个数据集和相应的文本生成任务。
3. 研究了包括Llama-2在内的最新LLMs的幻觉水平，揭示了它们的可信度水平。
4. 通过广泛的评估，展示了InterrogateLLM及其变体的综合性能，并与替代方法进行了彻底的比较。

## 本文实验

实验使用了三个公共数据集（Movies、Books和GCI）来评估InterrogateLLM在检测幻觉方面的有效性。实验结果显示，InterrogateLLM在所有数据集和FLLM模型上均优于基线方法，特别是在使用GPT-3作为BLLM时，性能最为出色。此外，实验还探讨了不同K值（反向过程的次数）和温度参数对检测结果的影响。

## 实验结论

实验结果表明，InterrogateLLM能够有效地检测LLMs生成文本中的幻觉，且在多个数据集和模型上均显示出较高的准确性。使用GPT-3作为BLLM时，性能尤为突出。此外，增加K值和使用变量温度可以进一步提高检测的准确性。

## 全文结论

本文通过提出InterrogateLLM方法，为解决LLMs在真实世界应用中的幻觉问题提供了一种有效的解决方案。该方法不仅能够独立于任何外部知识进行操作，而且具有广泛的适用性和高效性。未来的工作将扩展该方法到检索增强生成设置中，进一步提高LLMs在各种任务中的可靠性。

## 阅读总结报告

本篇论文针对大型语言模型（LLMs）在生成文本时可能出现的幻觉问题，提出了一种新颖的检测方法InterrogateLLM。该方法借鉴了人类审讯中的重复访谈技术，通过重构查询来检测和评估生成文本的一致性。论文详细介绍了方法的设计、实施步骤以及与其他方法的比较。通过在多个数据集上的实验，证明了InterrogateLLM在检测幻觉方面的有效性和优越性。这项工作不仅为LLMs的可靠使用提供了重要工具，也为未来相关研究奠定了基础。