实体
Gated Delta Network
Gated Delta Network
PulseAugur coverage of Gated Delta Network — every cluster mentioning Gated Delta Network across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Gated Delta Networks 扩展规则改善 LLM 训练稳定性
研究人员为门控 Delta 网络（一种神经网络架构）开发了新的扩展规则。这些规则通过一种称为坐标-尺寸估计传播的方法得出，允许在不同模型宽度之间稳定地转移学习率。在语言模型预训练上的实验表明，与标准的参数化方法不同，这些配置通过 AdamW 和 SGD 等优化器提高了学习稳定性。
-
FG^2-GDN 通过自适应学习率增强长上下文理解
研究人员推出 FG$^2$-GDN，这是一种增强神经网络长上下文理解的新方法。该方法通过用通道向量替换标量学习率来改进现有的门控增量网络，从而实现更具维度特异性的适应。FG$^2$-GDN+ 的一个扩展通过解耦键和值的缩放，提供擦除和写入强度的独立管理，进一步优化了控制。实验表明，这些新变体在计算成本相似的情况下，实现了更好的联想回忆和长上下文理解。
-
Qwen 为门控 Delta 网络开发 FlashQLA 以实现高效注意力机制
Qwen 开发了 FlashQLA，这是一套新的融合线性注意力内核，旨在兼容深度学习中的前向和后向传播。这些内核针对门控 Delta 网络（GDN）进行了优化，GDN 现在是 Qwen 模型家族的核心组成部分，包括 Qwen3-Next 及其后续迭代，如 Qwen3.5 和 Qwen3.6。此开发旨在提高具有扩展上下文窗口的大模型的效率和可扩展性。