> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/llm-defense/defending-against-disinformation-attacks-in-open-domain-question-answering.md). # Defending Against Disinformation Attacks in Open-Domain Question Answering
## 阅读总结报告 ### 1. 研究背景 开放域问答（ODQA）系统依赖于大型文档集合来回答问题。然而，这些系统可能受到恶意行为者的影响，他们可能会篡改互联网上的文章，从而影响ODQA系统的性能。尽管已有研究认识到了这种潜在的威胁，但很少有工作提出了防御这些攻击的方法。 ### 2. 过去方案和缺点 以往的研究主要集中在如何提高ODQA模型的性能，而没有充分考虑如何防御针对知识源的恶意攻击。Pan等人（2023）提出了一种简单的防御策略，即在不同文档上进行多数投票，但这种方法提供的增益有限。
### 3. 本文方案和步骤 本文提出了一种新的方法来防御ODQA系统中的数据投毒攻击。该方法基于以下直觉：在大型语料库中，冗余信息通常是存在的。为了找到这些信息，作者引入了一种查询增强方法，通过搜索可能回答原始问题的多样化段落集合，这些段落不太可能被投毒。然后，通过设计一种新的信心度方法（称为答案冗余信心度，即CAR），将这些新段落整合到模型中。 ### 4. 本文创新点与贡献 * 提出了一种基于查询增强的防御策略，用于对抗ODQA系统中的数据投毒攻击。 * 设计了一种新的信心度方法CAR，用于评估模型对其预测答案的信心。 * 实验结果表明，所提出的方法在不同程度数据投毒/知识冲突下，能够提供近20%的精确匹配增益。 ### 5. 本文实验 实验使用了Natural Questions（NQ）和TriviaQA（TQA）两个流行的ODQA数据集，并模拟了对每个问题独立进行的攻击。实验结果表明，所提出的方法在各种数据投毒水平下都能显著提高模型的性能。 ### 6. 实验结论 实验结果支持了本文提出的方法的有效性。通过查询增强和CAR信心度方法，可以在面对数据投毒攻击时显著提高ODQA系统的性能。 ### 7. 全文结论 本文通过引入查询增强和CAR信心度方法，为ODQA系统提供了一种有效的防御策略，以抵御数据投毒攻击。这种方法不需要梯度更新，可以轻松应用于现有框架，并使用简单的解析方法来得出预测答案。作者希望这项工作能够激励未来在防御投毒攻击方面的研究。 注： 本文提出的防御策略之所以有效，主要基于以下几个关键因素： 1. **查询增强（Query Augmentation）**： * 通过生成与原始问题相关的多样化问题，可以检索到更广泛的文档集合。这种查询扩展方法类似于信息检索中的查询扩展，旨在通过使用不同的词汇来增加检索到相关文档的可能性。 * 生成的增强问题旨在寻找那些可能包含正确答案但不太可能被投毒的文档。这是因为在大型语料库中，关于某个事实的信息往往以多种方式在不同文档中重复出现。 2. **答案冗余信心度（Confidence from Answer Redundancy, CAR）**： * CAR方法通过计算预测答案在检索到的文档上下文中出现的次数来评估模型对其预测答案的信心。如果预测答案在多个上下文中频繁出现，这表明检索过程成功且检索到的文档是多样化的，从而增加了答案的可信度。 * 这种方法利用了大型语料库中信息冗余的特性，即使部分信息被篡改，仍然可以通过其他来源的冗余信息来验证和确认正确答案。 3. **答案解析策略（Answer Resolution Strategy）**： * 本文提出了一种基于CAR的信心度方法来决定何时使用原始问题的预测，何时使用增强问题的预测。当CAR指标表明模型对预测答案有信心时，使用原始问题的预测；否则，使用增强问题中预测答案的多数投票。 * 这种策略允许模型在有足够信心时依赖原始问题和文档集，而在信心不足时则转向增强问题，从而在面对投毒攻击时提供更鲁棒的答案。 4. **实验验证**： * 实验结果表明，所提出的防御策略在不同程度数据投毒的情况下，能够显著提高模型的精确匹配率，证明了该策略的有效性。 综上所述，本文的防御策略通过结合查询增强和答案冗余信心度，有效地利用了大型语料库中的信息冗余性，提高了ODQA系统在面对数据投毒攻击时的鲁棒性。 ### 阅读总结 本文针对ODQA系统中的数据投毒攻击问题，提出了一种新颖的防御策略。通过查询增强来寻找不太可能被投毒的多样化段落，并利用CAR信心度方法来评估模型的预测。实验结果表明，这种方法能够有效提高模型在面对数据投毒时的鲁棒性。这项工作为ODQA系统的安全性提供了新的视角，并为未来的研究提供了有价值的方向。