Gated DeltaNet-2
PulseAugur coverage of Gated DeltaNet-2 — every cluster mentioning Gated DeltaNet-2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的QED方法增强了线性注意力模型的长程记忆能力
一篇新的研究论文介绍了一种名为查询派生擦除方向（QED）的方法，用于提高线性注意力模型的长程记忆能力。QED增加了一个源自查询的第二个擦除方向，该方向与键正交，有助于抵消旧的状态内容。这种方法旨在解决干扰问题，这些问题会降低线性注意力模型中的检索性能，尤其是在长上下文长度下。该论文提出QED可以显著提高可用上下文长度和检索准确性。
-
新研究探索统一路由以实现自适应 LLM 效率 · 跟踪 2 个来源
两篇新研究论文探讨了通过根据令牌复杂度动态调整计算资源来优化大型语言模型效率的方法。第一篇论文《线性注意力架构》比较了各种线性注意力机制，发现 Kimi Delta Attention with Muon 的验证损失最低，而纯 Gated DeltaNet 堆栈的训练吞吐量最高。这项工作还引入了跨层值路由（CLVR）来提高性能。第二篇论文《TriRoute》提出了一个统一的学习路由系统，该系统为每个令牌联合调整注意力分辨率、专家选择和…
-
AI基础设施公司Exa、Modal、Turbopuffer达成重大融资里程碑
多家AI基础设施公司已达成重要的融资里程碑，其中Turbopuffer达到1亿美元的年经常性收入（ARR）并实现盈利，Exa在C轮融资中获得2.5亿美元，估值22亿美元，Modal融资3.55亿美元，估值47亿美元。AI新闻摘要还强调了模型研究的进展，包括用于统一视觉理解和生成的RAEv2，用于改进语言建模的NVIDIA Gated DeltaNet-2，以及一项质疑亚词标记化必要性的研究。此外，讨论还涉及了机械可解释性以及AI在数学…
-
NVIDIA 发布 Gated DeltaNet-2 以改进线性注意力
NVIDIA 推出了 Gated DeltaNet-2，这是一种新的线性注意力层，旨在改进循环神经网络中的内存编辑。该模型使用独立的通道门控机制，将擦除旧信息和写入新信息的过程分离开来，解决了先前 delta-rule 架构中的局限性。Gated DeltaNet-2 在 1000 亿 token 和 13 亿参数上进行了训练，在长上下文检索任务上表现优于 Mamba-2 和 KDA 等现有模型。