WHAT’S IN MY BIG DATA?

1. 研究背景

随着机器学习（ML）的发展，大型文本语料库成为语言模型的基础。然而，我们对这些语料库的内容理解有限，包括一般统计、质量、社会因素以及评估数据的包含情况（污染）。这限制了对模型能力和缺陷的理解，因为模型只能从它们训练的数据中学习。此外，大型文本语料库的分析受到其巨大规模和公共发布的缺乏的限制。

2. 过去方案和缺点

以往的工作通常关注于语料库的子集重要维度的分析，几乎没有工作分析多个数据集之间的相同维度。这意味着机器学习实践者在选择合适的数据集之前没有实用的工具来描述数据集之间的差异。

3. 本文方案和步骤

本文提出了一个名为WHAT’S IN MY BIG DATA (WIMBD)的平台和分析集，它允许我们揭示和比较大型文本语料库的内容。WIMBD基于两个基本能力——计数和搜索——在标准计算节点上分析超过35TB的数据。作者将WIMBD应用于训练流行语言模型的十个不同语料库，包括C4、The Pile和RedPajama。

4. 本文创新点与贡献

• 提出了WIMBD平台，它是一个用于分析大型文本语料库的工具集，能够在标准计算节点上高效处理和分析数据。

• 开源了WIMBD的代码和工件，为新的基于文本的语料库提供了一套标准的评估，并鼓励围绕它们的更多分析和透明度。

• 进行了一系列的分析，揭示了这些语料库中一些令人惊讶且之前未记录的发现，包括重复、合成和低质量内容、个人可识别信息、有毒语言和基准污染的高流行率。

5. 本文实验

• 对十个不同的英语语料库进行了十六种分析，这些语料库用于训练语言模型，如C4、The Pile和RedPajama。

• 分析分为四个类别：数据统计、数据质量、社区和社会相关测量以及跨语料库分析。

6. 实验结论

• 发现大约50%的RedPajama和LAION-2B-en文档是重复的。

• 几个用于基准测试的模型数据集在重要的基准测试中被污染，包括Winograd Schema Challenge和GLUE和SuperGLUE的部分。

7. 全文结论

• WIMBD提供了对大型文本语料库内容的深入理解，揭示了数据分布和异常情况。

• 通过WIMBD的分析，可以为高质量语料库的策划提供行动洞察。

• WIMBD的开源代码和工件为未来的研究提供了强大的工具，以促进对大型语料库的分析和理解。

注：

本文的作者通过使用WIMBD平台对大型文本语料库进行深入分析，揭示了以下几个关键问题：

1. 重复内容的高流行率：作者发现在RedPajama和LAION-2B-en这两个语料库中，大约有50%的文档是重复的。这意味着模型可能会在训练过程中多次遇到相同的数据，这可能会影响模型的学习效率和泛化能力。

2. 合成和低质量内容：分析结果显示，语料库中存在大量的合成内容和低质量数据。这些内容可能不具有代表性或准确性，从而影响模型对真实世界信息的理解和处理能力。

3. 个人可识别信息（PII）：在语料库中检测到了大量的个人可识别信息，如电子邮件地址、电话号码和IP地址。这些信息的泄露可能会侵犯个人隐私，并可能导致模型在处理敏感数据时存在偏见。

4. 有毒语言：作者使用自动分类器和分类体系发现，语料库中存在一定比例的有毒语言。这些有毒内容可能会影响模型在生成文本时的安全性和适当性。

5. 基准污染：作者发现，一些用于评估模型性能的基准测试数据集（如GLUE和SuperGLUE）在训练语料库中被污染。这可能会导致模型在这些基准测试上的表现被高估，从而无法准确评估其真实能力。

这些问题的存在可能会对模型的训练和评估产生负面影响，限制了模型的可靠性和实用性。因此，作者提出的WIMBD平台不仅揭示了这些问题，也为未来的研究和实践提供了改进数据质量和透明度的工具和方法。

阅读总结

本文提出了WIMBD，一个强大的分析工具，用于探索和分析大型文本语料库的内容。通过一系列的分析，作者揭示了当前使用于训练先进语言模型的语料库中存在的问题，如数据质量和社会相关问题。WIMBD的开源贡献为社区提供了一个宝贵的资源，以促进对大型语料库的进一步研究和透明度。通过这些分析，我们可以更好地理解我们训练数据的性质，从而改进模型的性能和公平性。