实体
Gated Linear Units
Gated Linear Units
PulseAugur coverage of Gated Linear Units — every cluster mentioning Gated Linear Units across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的深度学习模型可准确模拟光学音频压缩器
研究人员开发了一种新颖的方法，使用深度神经网络精确模拟光学动态范围压缩器的时间依赖性响应。该方法利用选择性状态空间模型，通过有效编码音频输入，性能优于以前的循环层方法。该架构结合了特征化线性调制和门控线性单元，以动态调整低延迟应用的压缩参数，并在 TubeTech CL 1B 和 Teletronix LA-2A 等模拟压缩器上表现出强大的性能。
-
GLU 结构通过重塑 NTK 谱加速 LLM 优化
研究人员调查了门控线性单元 (GLU) 在大型语言模型中为何优于非 GLU 结构。他们在神经切线核 (NTK) 机制下的分析表明，GLU 重塑了 NTK 谱，从而减小了条件数并加快了收敛速度。虽然 GLU 似乎能加速优化，但经验观察表明，它在减小 ViT 和 GPT-2 等模型的泛化差距方面作用有限。