实体 FineWeb-Edu-Dedup

FineWeb-Edu-Dedup

PulseAugur coverage of FineWeb-Edu-Dedup — every cluster mentioning FineWeb-Edu-Dedup across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_109943 · Jun 25 · 04:00

研究发现数据重复严重损害语言模型性能

一篇新发表在arXiv上的研究论文探讨了数据重复对语言模型的有害影响，尤其是在Chinchilla缩放定律时代。该研究量化了与重复相关的“计算等效增益”和“计算等效损失”，揭示了性能在中间重复次数时达到峰值。这种有害的重复次数随模型大小而扩展，表明随着模型增大，最佳重复次数的增长速度快于计算量。研究表明，即使10%的重复文档预算也会导致显著的性能下降，对于一个3.44亿参数的模型而言，相当于在无重复场景下使用了少67%的计算量。这些发…

研究发现数据重复严重损害语言模型性能