Gated DeltaNet-2
PulseAugur coverage of Gated DeltaNet-2 — every cluster mentioning Gated DeltaNet-2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究探索统一路由以提高 LLM 效率 · 已追踪 2 个来源
两篇新研究论文探讨了通过根据 token 复杂度动态调整计算资源来优化大型语言模型效率的方法。第一篇论文“Linear Attention Architectures”比较了各种线性注意力机制，发现 Kimi Delta Attention with Muon 实现了最低的验证损失，而纯粹的 Gated DeltaNet 堆栈提供了最高的训练吞吐量。这项工作还引入了 Cross-Layer Value Routing (CLVR) 来…
-
AI基础设施公司Exa、Modal、Turbopuffer达成重大融资里程碑
多家AI基础设施公司已达成重要的融资里程碑，其中Turbopuffer达到1亿美元的年经常性收入（ARR）并实现盈利，Exa在C轮融资中获得2.5亿美元，估值22亿美元，Modal融资3.55亿美元，估值47亿美元。AI新闻摘要还强调了模型研究的进展，包括用于统一视觉理解和生成的RAEv2，用于改进语言建模的NVIDIA Gated DeltaNet-2，以及一项质疑亚词标记化必要性的研究。此外，讨论还涉及了机械可解释性以及AI在数学…
-
NVIDIA 发布 Gated DeltaNet-2 以改进线性注意力
NVIDIA 推出了 Gated DeltaNet-2，这是一种新的线性注意力层，旨在改进循环神经网络中的内存编辑。该模型使用独立的通道门控机制，将擦除旧信息和写入新信息的过程分离开来，解决了先前 delta-rule 架构中的局限性。Gated DeltaNet-2 在 1000 亿 token 和 13 亿参数上进行了训练，在长上下文检索任务上表现优于 Mamba-2 和 KDA 等现有模型。