> For the complete documentation index, see [llms.txt](https://elwood.gitbook.io/foundation-model-sec/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://elwood.gitbook.io/foundation-model-sec/others/can-chatgpt-detect-deepfakes-a-study-of-using-multimodal-large-language-models-for-media-forensics.md).

# Can ChatGPT Detect DeepFakes? A Study of Using Multimodal Large Language Models for Media Forensics

#### 研究背景

随着生成性AI（GenAI）模型的快速发展，它们能够从文本提示中创建逼真的图像、音频和视频。虽然AI生成的内容在电影和广告行业中有诸多益处，但其滥用产生有害内容，即DeepFakes，严重破坏了信息的可信度和对数字媒体的信任。因此，鉴定DeepFakes成为了媒体取证中的一个关键且及时的任务。

#### 过去方案和缺点

目前的DeepFake检测方法是通过专门的机器学习算法来解决的，这些算法通常是基于数据驱动的深度神经网络模型，它们在标记过的真实和DeepFake媒体的数据集上进行训练。检测通常依赖于媒体信号的统计特征，并且用户必须通过专门的编程语言、工具或服务来使用它们。然而，编程语言界面对于这些检测算法的开发者和用户来说是一个重大障碍。

#### 本文方案和步骤

本研究探讨了多模态大型语言模型（LLMs）在DeepFake检测中的能力。研究者进行了定性和定量实验，以展示多模态LLMs能够通过仔细的实验设计和提示工程揭露AI生成的图像。研究的总体流程如图1所示。具体目标是展示多模态LLMs在揭露AI生成的人脸图像方面的可行性和性能。对于输入的人脸图像，研究者配以文本提示，请求LLM是否为AI生成的，并提供解释和理由。

#### 本文创新点与贡献

* 提出了使用多模态大型语言模型（LLMs）进行DeepFake检测的新方法。
* 通过实验表明，即使LLMs并非为媒体取证任务专门定制，它们也能够有效地执行这一任务，且无需编程。
* 研究了多模态LLMs在这些任务中的局限性，并提出了可能的改进方向。

#### 本文实验

* 实验基于1000张真实的人脸图像（FFHQ数据集）和2000张由生成AI模型创建的图像（DF 3数据集）。
* 考虑了两种AI生成模型：StyleGAN2和Latent Diffusion。
* 设计了不同的文本提示，以评估LLM在检测任务中的性能。
* 使用了OpenAI的GPT4V Vision模型和Google Gemini 1.0 Pro API进行实验。

#### 实验结论

* 多模态LLMs展示了一定能力来区分真实和AI生成的图像，其效果对于人类来说是可解释的，提供了比传统机器学习方法更直观和用户友好的选项。
* 在识别AI生成图像方面的有效性是令人满意的，大约有75%的AUC得分。然而，在识别真实图像方面的准确性明显较低。
* 通过有效的提示技术可以充分利用多模态LLMs在区分真实和AI生成图像方面的语义检测能力。

#### 全文结论

* 多模态LLMs在媒体取证任务中显示出潜力，尤其是在视频分析和文本-图像错误上下文检测方面。
* 未来的工作将探索开发更复杂的提示策略，并将这些模型与传统的信号或数据驱动的检测技术相结合。

#### 阅读总结报告

这篇论文探讨了使用多模态大型语言模型（LLMs）进行DeepFake检测的可能性。研究表明，尽管LLMs并非专门为此任务设计，但它们能够通过自然语言处理和多模态理解来识别AI生成的图像。这项工作不仅为DeepFake检测提供了新的方法，而且为LLMs在媒体取证领域的应用开辟了新的道路。然而，研究也指出了LLMs在这项任务中的局限性，并提出了改进的建议。这项研究对于理解和改进LLMs在复杂任务中的应用具有重要意义，同时也强调了在实际应用中需要人类用户验证结果以避免潜在错误的重要性。