PulseAugur
实时 09:46:18
实体 decoder-only language-model FFNs

decoder-only language-model FFNs

PulseAugur coverage of decoder-only language-model FFNs — every cluster mentioning decoder-only language-model FFNs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_191353 ·

    研究发现 SwiGLU 的开放正尾对语言模型并非必需

    研究人员调查了 SwiGLU 的开放正尾在仅解码器语言模型中的必要性。他们引入了 MemGLU 作为闭尾替代方案,并发现,在多次预训练运行中,MemGLU 在验证 NLL 方面表现几乎与 SwiGLU 一样好。尽管 SwiGLU 检查点对正尾抑制敏感,但机制诊断显示,尽管性能相似,两种模型在门控使用上存在差异。这些发现表明,语言模型会适应预训练期间提供的门控几何形状,这表明 SwiGLU 的开放正尾对于测试规模下的仅解码器语言模型 F…