实体 cMoLLM

cMoLLM

PulseAugur coverage of cMoLLM — every cluster mentioning cMoLLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_167168 · Jul 28 · 04:00

新的 cMoLLM 架构通过动态卷积缩放 LLM

研究人员推出了一种新颖的大型语言模型缩放方法 cMoLLM，该方法将混合专家（MoE）风格融入整个模型管道，而不仅仅是前馈网络。该方法将 MoE 层重新构建为动态卷积，允许进行条件于输入的核聚合以及端到端流的可微分路由。在 FineWeb 数据集上使用 GPT-2 风格模型进行的实验表明，在匹配的计算预算下，cMoLLM 提高了语言建模困惑度和下游任务的准确性，与 ParaScale 和 AltUp 等现有方法相比，显示出更稳定的优化…