实体
Gated Delta Network
Gated Delta Network
PulseAugur coverage of Gated Delta Network — every cluster mentioning Gated Delta Network across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
FG^2-GDN enhances long-context understanding with adaptive learning rates
Researchers have introduced FG$^2$-GDN, a novel approach to enhance long-context understanding in neural networks. This method improves upon existing Gated Delta Networks by replacing a scalar learning rate with a chann…
-
Qwen 为门控 Delta 网络开发 FlashQLA 以实现高效注意力机制
Qwen 开发了 FlashQLA，这是一套新的融合线性注意力内核，旨在兼容深度学习中的前向和后向传播。这些内核针对门控 Delta 网络（GDN）进行了优化，GDN 现在是 Qwen 模型家族的核心组成部分，包括 Qwen3-Next 及其后续迭代，如 Qwen3.5 和 Qwen3.6。此开发旨在提高具有扩展上下文窗口的大模型的效率和可扩展性。