PulseAugur
中
实时 08:37:10
English(EN) Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU

研究发现 SwiGLU 的开放正尾对语言模型并非必需

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员调查了 SwiGLU 的开放正尾在仅解码器语言模型中的必要性。他们引入了 MemGLU 作为闭尾替代方案，并发现，在多次预训练运行中，MemGLU 在验证 NLL 方面表现几乎与 SwiGLU 一样好。尽管 SwiGLU 检查点对正尾抑制敏感，但机制诊断显示，尽管性能相似，两种模型在门控使用上存在差异。这些发现表明，语言模型会适应预训练期间提供的门控几何形状，这表明 SwiGLU 的开放正尾对于测试规模下的仅解码器语言模型 FFN 可能并非必不可少。 AI

影响 提出了仅解码器语言模型的潜在架构优化，可能在不牺牲性能的情况下降低计算要求。

排序理由 该集群包含一篇详细介绍语言模型架构新研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现 SwiGLU 的开放正尾对语言模型并非必需

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Yuting Ge, Pengju Yang, Mingkai Nie ·

    SwiGLU 的开放正尾门控是否必要？来自 MemGLU 闭尾门控的证据

    arXiv:2608.07323v1 Announce Type: new Abstract: We test whether decoder-only language-model FFNs require SwiGLU's open positive tail. We introduce MemGLU as a closed-tail comparator derived from a memristive branch geometry. Across paired 9M and 30M pretraining runs with three se…

相关实体

相关话题