Last updated
在智能对话代理与人类互动的过程中，模型可以通过反馈学习以提高性能。然而，在现实世界的交互中，并非所有人类话语都是良性或高质量的，可能会包含积极参与者（助手）和不参与或恶意用户（喷子）。本研究旨在如何在这种环境中进行稳健学习。
以往的研究主要集中在如何处理带有噪声的输入数据，这些方法通常假设噪声是随机的，并且没有特别针对恶意用户的行为进行建模。此外，这些方法通常关注于每个样本/话语级别的噪声，而没有考虑用户行为的整体模式。
构建了一个名为SafetyMix的基准评估，用于评估在各种对抗性环境下学习安全与有毒语言的方法的鲁棒性。
提出了几种缓解学习算法，这些算法可以在样本级别或用户级别识别喷子。
主要发现是，基于用户的方法在各种设置中表现最佳，这些方法考虑了喷子用户在多个示例中表现出的对抗性行为。
提出了一个新的基准SafetyMix，用于评估在混合对抗性和非对抗性情况下的学习方法。
提出了基于用户的方法，这些方法通过考虑用户的整体行为来提高对抗性数据的鲁棒性。
在SafetyMix基准和真实部署数据上验证了这些方法的有效性。
在SafetyMix基准上进行了实验，比较了不同的算法在处理不同类型的喷子时的表现。
在BlenderBot 3模型聊天机器人部署期间收集的真实对话数据上进行了实验，验证了基于用户的方法在现实世界情况下的有效性。
用户级别的学习方法在各种设置中表现最佳，尤其是在处理喷子用户时。
实验结果表明，通过考虑用户的整体行为，可以更有效地识别和过滤对抗性数据。
本文研究了在混合对抗性和非对抗性行为中进行稳健学习的问题，并提出了基于用户的方法来提高学习效率。
通过实验验证了这些方法的有效性，并指出了在处理某些类型的喷子（如Gaslight Troll）时的挑战。
作者公开了实验代码和SafetyMix基准，以促进未来的研究。
本文针对智能对话代理在实际部署中可能遇到的对抗性用户问题，提出了一种新的基准评估方法SafetyMix，并开发了一系列基于用户级别的学习方法来提高模型的鲁棒性。实验结果表明，这些方法在处理恶意用户数据时比传统的基于样本的方法更有效。尽管如此，作者也指出了现有方法在处理某些特定类型的对抗性行为时的局限性，并鼓励未来的研究继续探索更有效的用户级算法。
