PulseAugur
中
实时 05:33:11
实体 Gated Linear Units

Gated Linear Units

PulseAugur coverage of Gated Linear Units — every cluster mentioning Gated Linear Units across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_41779 ·

    GLU 结构通过重塑 NTK 谱加速 LLM 优化

    研究人员调查了门控线性单元 (GLU) 在大型语言模型中为何优于非 GLU 结构。他们在神经切线核 (NTK) 机制下的分析表明，GLU 重塑了 NTK 谱，从而减小了条件数并加快了收敛速度。虽然 GLU 似乎能加速优化，但经验观察表明，它在减小 ViT 和 GPT-2 等模型的泛化差距方面作用有限。