实体 DeepNorm

DeepNorm

PulseAugur coverage of DeepNorm — every cluster mentioning DeepNorm across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_145652 · Jul 15 · 06:37

DeepLoop 方法增强了 Looped Transformer 的深度缩放

研究人员推出了一种新颖的 Looped Transformer 深度缩放方法 DeepLoop。该技术通过形式化残差缩放和提出新的缩放规则来解决循环架构中的残差缩放挑战。在 GPT 类型模型上的实验表明，当激活循环深度时，DeepLoop 可提高验证损失和下游准确性，突出了参数访问计数对于稳定循环深度的重要性。