FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language
PulseAugur coverage of FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language — every cluster mentioning FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的RefinedGAW数据集提供专门的德语学术网络内容
研究人员推出了RefinedGAW，这是一个新的德语学术网络内容数据集，旨在提供比广泛的网络抓取更高的领域特异性。该数据集包含1.22亿份文档和3140亿个token，其中84%被识别为学术研究、教育或专家导向的内容，商业偏见极小。尽管FineWeb2和FinePDFs的数据集规模要大得多，但RefinedGAW的876亿个学术研究内容token超过了它们各自的德语子集。该项目还提供了一个可查询的元数据索引和一个用于检索和处理源文档的工具。
-
AI代理在斯洛伐克网络语料库中发现140万份AI生成文档
研究人员开发了一个代理审计框架，用于识别多语言数据处理管道（如FineWeb2）中的故障。通过使用LLM作为语料库调试器，该代理探索了FineWeb2的斯洛伐克部分，发现了超过140万份文档的大型机器生成内容农场。与传统的LLM分类方法相比，这种方法被证明具有成本效益和效率，并且该框架、测试套件和验证数据已公开发布。
-
moBERTo: 新型葡萄牙语语言模型提升NLP任务表现
研究人员推出moBERTo，一个通过对ModernBERT进行持续预训练而衍生的新型葡萄牙语语言模型。该模型在600亿个token上进行了训练，整合了FineWeb2以及经过筛选的STEM和教育内容的数据。moBERTo在包括信息检索、文档分类、命名实体识别和自然语言理解在内的多项自然语言处理任务中表现出色，尤其在葡萄牙语检索基准测试中表现突出。