实体 BLT

BLT

PulseAugur coverage of BLT — every cluster mentioning BLT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_15851 · May 5 · 04:00

新研究表明，为实现最优计算，模型规模应与数据字节而非 token 数量成比例增长

一篇新论文探讨了 token 粒度对语言模型缩放定律的影响。研究人员训练了 988 个具有不同参数数量和压缩率的模型，以研究分词如何影响计算效率。研究发现，模型参数应与数据字节大小成比例增长，而非 token 数量，并且最优压缩率随计算量而降低，为开发者提供了指导。