实体
Gated DeltaNet
Gated DeltaNet
PulseAugur coverage of Gated DeltaNet — every cluster mentioning Gated DeltaNet across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
情绪 · 30 天
3 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
PapersWithCode 增加多指标排行榜和外部论文支持
Hugging Face 为 PapersWithCode（一个跟踪人工智能最新进展的平台）推出了新功能。更新包括支持排行榜上的多个指标，例如自动语音识别和目标检测。该平台现在还支持 arXiv 以外的外部论文，自动为其添加相关标签和数据，并显示论文的演变过程，以展示后续或先前的研究。
-
WriteSAE 可直接操控循环语言模型状态
研究人员开发了 WriteSAE，这是一种新颖的稀疏自编码器，旨在操控循环语言模型状态内的矩阵更新。该方法学习秩-1 矩阵原子，直接替换模型自身的矩阵更新，在最终标记分布准确性方面显示出显著的改进。该技术已成功应用于 Gated DeltaNet 和 Mamba-2 等模型，展示了其在引导模型生成和理解内部状态动态方面的潜力。
-
NVIDIA 发布 Gated DeltaNet-2 以改进线性注意力
NVIDIA 推出了 Gated DeltaNet-2，这是一种新的线性注意力层，旨在改进循环神经网络中的内存编辑。该模型使用独立的通道门控机制，将擦除旧信息和写入新信息的过程分离开来，解决了先前 delta-rule 架构中的局限性。Gated DeltaNet-2 在 1000 亿 token 和 13 亿参数上进行了训练，在长上下文检索任务上表现优于 Mamba-2 和 KDA 等现有模型。