On Copyright Risks of Text-to-Image Diffusion Models
研究背景
文本到图像的扩散模型（Text-to-Image Diffusion Models）在图像生成任务中表现出色，能够根据文本提示生成高质量图像。然而，这些模型在生成图像时往往会复制训练数据中的元素，引发了越来越多的版权问题。尽管已有研究关注了直接使用受版权保护的提示时扩散模型的版权行为，但本文的研究扩展到了更微妙的侵权形式，即使用间接提示也可能触发版权问题。
过去方案和缺点
过去的研究主要集中在防止生成受版权保护的内容，例如OpenAI在ChatGPT中添加过滤器以阻止生成受版权保护的图像。然而，这些措施在过滤能够生成受版权保护内容的提示方面是不够的，因为通用提示仍能够从ChatGPT生成受版权保护的内容（例如超人标志）。这表明，未能识别出其他能够生成受版权保护内容的通用提示可能会严重限制扩散模型的未来应用场景。
本文方案和步骤
本文提出了一个数据生成管道，系统地生成用于研究扩散模型中版权问题的数据。该管道包括两个阶段：第一阶段专注于生成不敏感的提示；第二阶段修剪生成的提示，选择具有更好对抗能力的提示。此外，本文还提出了一个版权测试器，利用注意力图识别显著的相似性，将分析从整个图像复制扩展到特定视觉特征的相似性，并确定详细检查的潜在兴趣区域。
数据生成管道的详细说明
第一阶段：生成不敏感的提示
目标：生成不直接与版权主题相关的提示，但这些提示仍能触发扩散模型生成含有版权内容的图像。
步骤：
关键词提取：通过分析扩散模型的注意力图（attention maps），识别对图像生成过程有重大贡献的关键词。注意力图展示了模型在生成图像时对提示中各个词语的关注程度。
生成候选提示：利用语言模型（Language Model），根据提取的关键词生成符合语法的候选提示。在此过程中，特别设计的问题模板（query templates）用于指导语言模型生成与目标版权主题无关但包含关键词的短语和句子。
避免直接引用：在生成句子的过程中，明确指示语言模型避免在生成的句子中添加与目标版权主题直接相关的信息。
第二阶段：修剪生成的提示
目标：从第一阶段生成的不敏感提示中，选择最能触发版权侵权行为的提示。
步骤：
固定隐藏状态：在这一阶段，扩散模型的隐藏状态输入被固定，以便单独传递目标主题嵌入（embedding）和提示嵌入。
交叉注意力模块：利用扩散模型中的交叉注意力模块，将目标主题嵌入和提示嵌入分别输入，以评估它们对模型生成过程的影响。
L2距离计算：计算目标主题嵌入和提示嵌入在交叉注意力输出上的差异，使用L2距离作为衡量标准。较小的L2距离表明提示对生成过程的影响与目标主题相似。
选择提示：选择L2距离最小的K个提示，这些提示被认为具有最强的对抗能力，即最有可能触发版权侵权内容的生成。
该数据生成管道通过两个阶段的工作流程，有效地生成了能够测试和评估扩散模型在版权方面表现的提示。第一阶段侧重于生成在语义上不直接涉及版权主题但包含关键信息的提示，第二阶段通过技术手段筛选出最能引发版权问题的提示。整个管道的设计旨在系统地探索和量化扩散模型在生成图像时的版权风险。
本文创新点与贡献
提出了一个框架，用于创建在语言语义上通用但仍然能够触发各种扩散模型中部分版权侵权的T2I任务提示。
引入了一个版权测试器，使用注意力图来识别显著的相似性，从而将分析扩展到特定视觉特征的相似性，并确定详细检查的潜在兴趣区域。
编译了一个潜在版权主题和提示的数据集，以帮助进行更现实主义的版权研究，并分析扩散模型的行为。
本文实验
实验使用了Stable Diffusion模型系列作为测试对象，对版权实验进行了评估。实验包括生成提示的敏感性测试、修剪方法的有效性评估、版权测试方法的评估以及不同扩散模型生成受版权保护内容的行为研究。
实验结论
实验结果表明，通过本文提出的数据生成管道生成的提示能够导致扩散模型生成含有版权内容的图像。大约70%的图像能够通过版权测试识别出至少一个包含版权内容的区域。即使是最新型号的Stable Diffusion XL，生成含有版权内容的图像的比例仍然超过50%。
全文结论
本文提出的数据生成管道能够生成现实世界中的版权侵权示例，并且展示了当代扩散模型非常容易生成版权内容。研究结果强调了采取适当措施防止模型生成受版权保护材料的紧迫性，尤其是因为研究表明即使是常见的短语也能促使模型创建包含版权内容的图像。
阅读总结报告
本文针对文本到图像扩散模型在版权方面的风险进行了深入研究。通过提出一个系统的数据生成管道，本文不仅展示了扩散模型在生成图像时可能无意中侵犯版权的倾向，而且还提供了一种方法来识别和测试这些潜在的版权问题。本文的创新之处在于它不仅关注直接的版权侵权，还关注了更微妙的侵权形式，即使用间接提示也可能触发版权问题。此外，本文还提供了一个版权测试器和数据集，为未来的版权研究和模型评估提供了有力的工具。实验结果揭示了现有扩散模型在版权保护方面的不足，并强调了改进版权保护措施的必要性。
Last updated
