研究人员推出了一种新颖的大型语言模型缩放方法 cMoLLM，该方法将混合专家（MoE）风格融入整个模型管道，而不仅仅是前馈网络。该方法将 MoE 层重新构建为动态卷积，允许进行条件于输入的核聚合以及端到端流的可微分路由。在 FineWeb 数据集上使用 GPT-2 风格模型进行的实验表明，在匹配的计算预算下，cMoLLM 提高了语言建模困惑度和下游任务的准确性，与 ParaScale 和 AltUp 等现有方法相比，显示出更稳定的优化和更好的流利用率。 AI
影响 引入了一种新颖的 LLM 缩放策略，可能导致更大模型的更高效训练和推理。
排序理由 该集群包含一篇详细介绍 LLM 新模型架构和缩放定律的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
