研究人员开发了一种名为CHERRY的新方法，用于训练计算高效的语言模型，重点关注三种关键技术。第一种涉及选择性监督，将训练集中在约15%携带最多语义信息的输出标记上，从而使每个监督标记的效率提高4.5倍。第二种技术通过平均层将大型Transformer模型压缩成一个更小的模型，然后通过学习到的循环展开恢复其性能，实现了2.5倍的参数缩减。最后，将这些压缩模型组合成一个高效专家混合模型（MoEE），以提高超越单个专家的性能，这在韩语基础模型CHERRY-1.8B上得到了证明。 AI
影响 引入了创建更高效语言模型的新颖技术，可能降低训练和推理的计算成本。
排序理由 该集群包含一篇详细介绍训练语言模型新颖技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2606.31796v1 Announce Type: cross Abstract: We study three complementary techniques for training compute-efficient language models. (1) Selective supervision and per-token efficiency. Selective Ground Truth Token Training (SGT) concentrates supervision on the ~15% of output…
We study three complementary techniques for training compute-efficient language models. (1) Selective supervision and per-token efficiency. Selective Ground Truth Token Training (SGT) concentrates supervision on the ~15% of output tokens that carry semantic payload. Through posit…