Occiglot-Fineweb多语言数据集：构建与优化实践

1. 项目概述：Occiglot-Fineweb多语言数据集发布

今天很高兴和大家分享我们团队在构建高质量多语言数据集方面的最新成果——Occiglot-Fineweb。这个数据集目前包含10种语言的约2.3亿份经过严格清洗的文档，是我们长期数据整理工作的初步成果。作为一名长期从事NLP数据工程的研究者，我认为这个数据集有几个显著特点值得关注：

首先，它建立在现有精选数据集和预过滤网络数据的基础上，采用了语言特定的精细处理流程，并进行了全局去重。目前v0.5版本已在Hugging Face平台发布，我们的datatrove处理管道也将很快开源。特别值得一提的是，通过与DiscoResearch的合作，我们还基于Llama-3模型和Occiglot-Fineweb的德语数据子集，发布了一系列强力的德语模型。

2. 数据处理流程详解

2.1 数据来源与初步处理

在我们的数据收集过程中，主要使用了两个数据来源：

1. 从LLM-Datasets获取了所有目标语言的可用数据集（不包括OSCAR）
2. 从2005年至2023年的12个Common-Crawl版本中爬取的网络数据

所有数据都经过OSCAR的Ungoliant管道处理。这种处理方式使得该数据集与Occiglot模型初始版本使用的训练数据有大量重叠。

提示：在选择数据源时，我们特别考虑了时间跨度的覆盖，因为不同时期的网络数据反映了语言使用的演变，这对模型训练非常重要。

2.2 语言特定的质量过滤

所有数据都使用基于Huggingface fine-web过滤器的语言特定管道进行了严格过滤。除了对一些超参数进行微调外，我们主要修改了三个方面：

1. 根据每种语言的语言学特征调整平均词长过滤器
2. 添加语言特定的停用词
3. 为政策和cookie过滤添加语言特定的策略过滤器

例如，在德语处理中，我们增加了复合词的长度阈值；在罗曼语系语言中，我们调整了词形变化的识别规则。这些调整确保了过滤过程能够适应不同语言的特点。

2.3 去重策略与数据保留原则

我们对每种语言的数据分别进行了minhash去重。这里有一个重要的设计决策：我们总是保留不在网络爬取数据中的副本。举个例子，如果一个维基百科页面也包含在OSCAR中，我们会删除OSCAR中的副本，从而保持维基百科子集的完整。

这种数据结构设计允许可靠地对自定义子集进行过采样或欠采样，而不会导致某些文档在数据的其他部分重新出现。在实际操作中，我们发现这个策略特别有用：

• 当需要增强某些特定领域的数据时，可以安全地增加其权重
• 在构建训练集和验证集时，可以确保没有隐蔽的数据泄漏
• 进行消融研究时，能够精确控制不同数据源的比例

3. 关键发现与数据分析

3.1 重复文档的惊人发现

在分析清理过程时，最令人惊讶的发现是整个数据中重复文档的数量。虽然预期会有一些重叠，但先前的研究表明不同的CommonCrawl版本基本上是互不相交的。因此，我们在最初的OcciGlot版本中没有对OSCAR数据进行去重。然而，我们在数据集中观察到了大量的重复。

有趣的是，不同语言之间存在显著差异：

这些巨大差异的起源尚不清楚，值得进一步研究。从实践角度来看，这提醒我们在处理多语言数据时，不能假设不同语言具有相似的数据特性。

3.2 CommonCrawl数据质量的时序变化

我们观察到CommonCrawl的数据质量随着时间的推移有持续改善。当我们考虑过滤过程中丢弃的文档百分比时，这种质量变化变得最为明显。以下是德语的示例数据，但这些观察结果对大多数语言都适用：

这个趋势表明，较新的网络抓取数据通常包含更少需要过滤的低质量内容。对于模型训练来说，这意味着：

• 较新的数据可能需要较少的预处理
• 数据质量可能随时间呈现某种季节性变化
• 在构建数据集时，考虑数据的时间分布可能很重要

4. 模型训练与应用

4.1 基于Llama-3的德语模型

通过与DiscoResearch的合作，我们基于Occiglot-Fineweb的德语子集对Llama-3模型进行了持续预训练。在实际操作中，我们发现：

1. 数据清洗质量显著影响模型收敛速度
2. 适当的去重可以防止模型过度记忆常见片段
3. 语言特定的过滤策略改善了模型在领域特定任务上的表现

这些德语模型在多个基准测试中表现优异，特别是在处理德语特有的复合词和语法结构方面。

4.2 数据集使用建议

根据我们的经验，使用Occiglot-Fineweb时可以考虑以下策略：

1. 对于低资源语言，可以适当增加过采样率
2. 考虑数据的时间分布，特别是处理时效性强的任务时
3. 利用数据集的结构特性进行领域适配训练
4. 对于高重复率的语言，可能需要更强的正则化

5. 未来发展方向

我们正在积极扩展这个初步数据集。目前的工作重点包括：

1. 为未过滤数据集中的另外20种语言构建专用过滤器
2. 通过处理更多的CommonCrawl版本和其他数据源来获取更多数据
3. 深入研究不同语言间数据特性的差异
4. 优化数据处理管道，提高效率和质量

我们非常欢迎各种形式的合作。如果您对这个项目感兴趣，或者有任何建议，请通过邮件或Discord服务器与我们联系。这个项目的持续发展需要社区的共同努力，我们期待听到您的声音。