实体 CHERRY-1.8B

CHERRY-1.8B

PulseAugur coverage of CHERRY-1.8B — every cluster mentioning CHERRY-1.8B across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_119542 · Jun 30 · 15:14

新的CHERRY方法训练计算高效语言模型

研究人员开发了一种名为CHERRY的新方法，用于训练计算高效的语言模型，重点关注三种关键技术。第一种涉及选择性监督，将训练集中在约15%携带最多语义信息的输出标记上，从而使每个监督标记的效率提高4.5倍。第二种技术通过平均层将大型Transformer模型压缩成一个更小的模型，然后通过学习到的循环展开恢复其性能，实现了2.5倍的参数缩减。最后，将这些压缩模型组合成一个高效专家混合模型（MoEE），以提高超越单个专家的性能，这在韩语基础…