PulseAugur
中
实时 12:03:14
实体 CC-MAIN-2021-31-PDF-UNTRUNCATED

CC-MAIN-2021-31-PDF-UNTRUNCATED

PulseAugur coverage of CC-MAIN-2021-31-PDF-UNTRUNCATED — every cluster mentioning CC-MAIN-2021-31-PDF-UNTRUNCATED across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_206171 ·

    论文揭示大语言模型语料库统计中的单位偏差，导致大量文本数据丢失

    一篇新论文强调了大语言模型训练数据集测量方式上的一个显著差异，特别是在网页-PDF语料库方面。研究人员发现，统计数据通常以token为单位报告语料库大小，但以文档为单位计算指标，这导致了“单位偏差”。这种偏差意味着，一小部分文档，特别是那些超过50页或由TeX工具链生成的文档，包含了不成比例的大量文本。研究还显示，常见的截断上限（如5 MiB限制）会导致大量数据丢失，常用的库未能恢复截断文本的很大一部分。作者建议同时以文档和token…