# MemeCraft: Contextual and Stance-Driven Multimodal Meme Generation
## 阅读总结报告
### 1. 研究背景
互联网模因（memes）作为数字文化现象，在社交媒体时代具有强大的影响力，不仅提供幽默，还为政治话语、社会批评和信息传播提供了平台。模因的广泛传播和影响力使其成为推广意识形态和宣传活动的有力工具。然而，尽管已有多种模因生成工具，但在系统评估这些工具的能力以及它们有效传达意识形态方面仍存在差距。
### 2. 过去方案和缺点
以往的模因生成工具主要依赖于半自动化方法，如Imgflip等，允许用户在现有模因模板上叠加文本。这些工具通过深度学习提高了模因创作的效率，但通常需要大量的数据集进行训练。此外，现有的模因生成工具评估不够系统，主要关注生成模因与手工制作模因的相似性，而忽略了评估这些生成模因在有效和有说服力地传达特定意识形态方面的能力。
### 3. 本文方案和步骤
本文介绍了MemeCraft，一个创新的模因生成器，利用大型语言模型（LLMs）和视觉语言模型（VLMs）产生支持特定社会运动的模因。MemeCraft提供了一个端到端的流程，无需人工干预即可将用户提示转换为引人入胜的多模态模因。考虑到创建分裂性内容的潜在滥用风险，MemeCraft内嵌了一个内在的安全机制，以遏制仇恨模因的产生。
本文通过MemeCraft框架利用大型语言模型（LLMs）和视觉语言模型（VLMs）来生成支持特定社会运动的多模态模因。具体的利用方法如下：
1. **VLMs用于图像描述生成**：
* 使用LLaVA-7B，这是一个先进的视觉语言模型（VLM），它经过全面训练，具备视觉和语言理解能力。
* 通过零样本提示（zero-shot prompting），VLM为每个模因模板图像生成高质量的图像描述（captions）。这意味着模型能够根据图像内容直接生成描述性文本，而不需要额外的示例或训练数据。
2. **LLMs用于模因文本生成**：
* 利用ChatGPT和LLaMA-2-13B等大型语言模型（LLMs），根据用户定义的参数（如社会原因、立场和说服技巧）生成与模因模板图像相匹配的幽默文本。
* 采用少数样本提示技术（few-shots prompting），为LLMs提供特定的示例，以帮助模型理解任务并生成与视觉内容相协调的模因文本。这包括指令、输入和输出的格式，以及使用特定的前缀（如“Let’s think step by step.”）来增强模型生成与图像内容紧密相关的文本的能力。
3. **结合LLMs和VLMs生成最终模因**：
* 将由VLM生成的图像描述和LLM生成的模因文本结合起来，通过文本覆盖API将生成的模因文本叠加到模因模板图像上，创建最终的多模态模因。
* 通过这种方式，MemeCraft能够利用LLMs和VLMs的强大能力，生成既视觉上吸引人又在文本上具有说服力的模因。
4. **安全机制**：
* 为了确保生成的模因不包含仇恨内容，MemeCraft使用了一个预训练的模型（如MMBT-Grid），这是一个专门用于检测仇恨模因的多模态监督双向变换器架构。
* 该安全机制评估生成的模因，以识别潜在的仇恨内容，并设置了一个高置信度阈值（0.9）来过滤掉超过该阈值的内容，确保最终生成的模因是安全和适当的。
通过这种方法，MemeCraft能够有效地结合LLMs和VLMs的优势，生成既符合社会运动主题又具有幽默感和说服力的模因，同时确保内容的安全性和适当性。
### 4. 本文创新点与贡献
MemeCraft的创新之处在于它结合了LLMs和VLMs的能力，用于大规模的倡导模因生成。这是首次探索将LLMs或VLMs适应于模因生成。此外，本文通过针对联合国可持续发展目标（UN SDGs）中的“气候行动”和“性别平等”进行的广泛人类评估，证明了MemeCraft在生成既有趣又支持倡导目标的模因方面的有效性。
### 5. 本文实验
实验中，MemeCraft围绕“气候行动”和“性别平等”两个联合国可持续发展目标生成了大量模因数据集，并进行了全面的人类评估。评估主要考虑了模因的真实性、幽默性、信息传达和说服力四个主要因素，并评估了MemeCraft的安全机制在防止生成仇恨内容方面的强度。
### 6. 实验结论
实验结果表明，MemeCraft在生成支持社会运动的幽默和有说服力的模因方面优于现有的最先进模因生成器。此外，MemeCraft的安全机制在减少仇恨模因生成方面是有效的，确保了平台免受滥用或攻击性内容的影响。
### 7. 全文结论
MemeCraft的开发代表了自动模因创作的显著进步。研究表明，通过利用在全面数据集上预训练的LLMs和VLMs，MemeCraft能够生成既与在线社区中的模因相似，又保持上下文相关性并且不含有攻击性内容的模因。虽然在幽默性方面仍有提升空间，但MemeCraft已经显著缩小了与真实在线模因之间的差距。未来的工作将致力于优化文本和视觉元素之间的协同作用，以提高生成模因的喜剧和说服力质量，从而为模因生成技术的进步做出贡献。
### 阅读总结
本文介绍了MemeCraft，这是一个结合了大型语言和视觉语言模型能力的模因生成器，旨在生成支持特定社会运动的模因。通过自动化的端到端流程，MemeCraft能够创建既幽默又具有社会意义的模因，同时内置的安全机制确保了内容的适当性。实验结果表明，MemeCraft在生成与“气候行动”和“性别平等”相关的模因方面表现出色，其生成的模因在真实性、幽默性和说服力方面都得到了积极评价。这项工作不仅展示了AI在模因创作方面的潜力，也为未来相关技术的发展提供了新的方向。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://elwood.gitbook.io/foundation-model-sec/others/memecraft-contextual-and-stance-driven-multimodal-meme-generation.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
