Last updated
随着大型语言模型（LLMs）在各种应用中的广泛使用，对其安全性和鲁棒性的关注度显著提高。LLMs在实际应用中表现出了生成有害、有偏见和刻板印象的内容的倾向，同时也存在幻觉和生成事实错误的问题。为了缓解这些不良行为，研究者们开发了多种方法，如监督微调、人类反馈强化学习（RLHF）和信念增强等。
以往的方法主要关注于通过对抗性探测（红队）来提高模型的安全性和鲁棒性。这些方法通过生成对抗性示例来触发目标模型产生不良输出，然后将这些示例纳入训练以增强模型的鲁棒性。然而，手动制作对抗性示例成本高昂，且自动化红队方法未能在推理时捕获在线反馈。
本文提出了一种联合框架（JAB），通过对抗性提示和信念增强来同时探测和提高黑盒目标模型的鲁棒性。该框架利用自动化红队方法生成对抗性示例，并使用信念增强器生成指导目标模型以提高其对这些对抗性探测的鲁棒性。对抗性模型和信念生成器利用过去的交互反馈来提高对抗性提示和信念的有效性。
在推理时生成对抗性示例和信念的过程是JAB框架的核心部分，它允许模型在不进行额外训练的情况下提高其鲁棒性。以下是详细说明：
红模型（Red Model）：这是框架中的一个组件，负责生成对抗性示例。这些示例旨在触发目标模型产生违反负责任的人工智能（RAI）原则的输出，例如生成有害内容。
迭代反馈循环：红模型使用FLIRT框架，该框架利用上下文学习（in-context learning）和反馈循环来动态生成对抗性提示。在每次迭代中，红模型会生成一个新的对抗性提示，并将其与现有的示例列表（At）进行比较，以确定是否替换现有示例。
无需额外训练：生成的对抗性示例直接用于评估目标模型，而不需要对红模型进行额外的训练。这是因为红模型的迭代过程本身就是一个自我优化的过程，它通过不断更新示例列表来提高生成对抗性示例的能力。
信念生成器（Belief Generator）：这是框架中的另一个组件，负责生成信念（或指令），以指导目标模型遵循一组伦理或安全标准。例如，信念模型可以生成如“避免生成有害和有偏见的输出”的指令。
上下文学习和评估：信念生成器使用BELIEVE框架，类似于FLIRT，但增加了一个评估模块，用于评估生成的信念在一组基准或对抗性示例上的有效性。这可以是静态集（S）或动态集（D）。
实时生成和评估：在JAB框架中，信念生成器在每次迭代中都会生成新的信念，并立即评估其对目标模型的影响。这种实时生成和评估的过程允许信念生成器在推理时动态地改进其生成的信念。
自动化：整个生成过程是自动化的，不需要人类手动创建对抗性示例或信念。
实时改进：在推理过程中，红模型和信念生成器可以实时地根据反馈改进它们的生成策略，而不需要重新训练模型。
泛化能力：通过在推理时生成对抗性示例和信念，JAB框架能够应对在训练期间未遇到的对抗性示例，显示出良好的泛化能力。
总结来说，JAB框架通过在推理时动态生成对抗性示例和信念，使得目标模型能够在不进行额外训练的情况下提高其对潜在攻击的鲁棒性。这种方法不仅提高了效率，还增强了模型在面对新出现的对抗性输入时的适应能力。
提出了一种自动化的、无需人类参与（除了提供初始小集合提示）的框架。
在推理时生成对抗性示例和信念，无需模型训练。
适用于任何黑盒目标模型。
生成的信念和对抗性示例以自然语言形式存在，提高了框架的可解释性。
实验在毒性降低任务上评估了提出的框架。在动态（直接与目标模型互动的对手）和静态（使用静态基准数据集评估模型）场景下，展示了该方法相较于没有信念增强的普通模型和现有信念增强方法的优越性。结果表明，该方法在动态案例中减少了高达46%的有害内容生成，在静态案例中减少了高达1.5%，证明了该方法在不同领域中的泛化能力。
JAB框架在减少有害和不安全生成方面表现出色，无论是在动态还是静态情况下。这表明通过对抗性探测和信念增强的迭代方式可以持续改进模型。
本文提出的JAB框架通过结合对抗性提示和信念增强，有效地减少了LLMs的有害和不安全生成。该框架在动态和静态场景下均显示出优越的性能，证明了其在提高模型鲁棒性方面的潜力。
本文针对LLMs在安全性和鲁棒性方面的挑战，提出了一种新的联合框架JAB。该框架通过自动化红队方法和信念增强器的交互，实现了对目标模型的持续改进。实验结果表明，JAB在减少有害内容生成方面取得了显著成效，且具有良好的泛化能力。这一工作为提高LLMs的安全性和鲁棒性提供了一种有效的解决方案。
