RefinedGAW

新的RefinedGAW数据集提供专门的德语学术网络内容

研究人员推出了RefinedGAW，这是一个新的德语学术网络内容数据集，旨在提供比广泛的网络抓取更高的领域特异性。该数据集包含1.22亿份文档和3140亿个token，其中84%被识别为学术研究、教育或专家导向的内容，商业偏见极小。尽管FineWeb2和FinePDFs的数据集规模要大得多，但RefinedGAW的876亿个学术研究内容token超过了它们各自的德语子集。该项目还提供了一个可查询的元数据索引和一个用于检索和处理源文档的工具。