Kimi Delta Attention
PulseAugur coverage of Kimi Delta Attention — every cluster mentioning Kimi Delta Attention across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
开源AI中Transformer注意力机制的演进
自诞生以来，Transformer架构的注意力机制经历了显著的演进，众多创新为更高效、更强大的大型语言模型做出了贡献。FlashAttention、多查询注意力（MQA）、分组查询注意力（GQA）和滑动窗口注意力（SWA）等创新极大地降低了内存需求并提高了推理性能。最新的进展，包括门控Delta网络（GDNs）等线性注意力变体和原生稀疏注意力（DSA）等稀疏注意力方法，正在进一步拓展边界，许多开源模型都采用了这些技术。
-
PapersWithCode 增加多指标排行榜和外部论文支持
Hugging Face 为 PapersWithCode（一个跟踪人工智能最新进展的平台）推出了新功能。更新包括支持排行榜上的多个指标，例如自动语音识别和目标检测。该平台现在还支持 arXiv 以外的外部论文，自动为其添加相关标签和数据，并显示论文的演变过程，以展示后续或先前的研究。
-
NVIDIA 发布 Gated DeltaNet-2 以改进线性注意力
NVIDIA 推出了 Gated DeltaNet-2，这是一种新的线性注意力层，旨在改进循环神经网络中的内存编辑。该模型使用独立的通道门控机制，将擦除旧信息和写入新信息的过程分离开来，解决了先前 delta-rule 架构中的局限性。Gated DeltaNet-2 在 1000 亿 token 和 13 亿参数上进行了训练，在长上下文检索任务上表现优于 Mamba-2 和 KDA 等现有模型。
-
FG^2-GDN 通过自适应学习率增强长上下文理解
研究人员推出 FG$^2$-GDN，这是一种增强神经网络长上下文理解的新方法。该方法通过用通道向量替换标量学习率来改进现有的门控增量网络，从而实现更具维度特异性的适应。FG$^2$-GDN+ 的一个扩展通过解耦键和值的缩放，提供擦除和写入强度的独立管理，进一步优化了控制。实验表明，这些新变体在计算成本相似的情况下，实现了更好的联想回忆和长上下文理解。
-
Moonshot AI 开源 FlashKDA，在 H200 GPU 上将 Kimi Delta Attention 加速 2.5 倍
Moonshot AI 发布了 FlashKDA，这是 Kimi Delta Attention 的一个开源实现。该新内核在 NVIDIA H200 GPU 上实现了高达 2.5 倍的推理速度提升。它使用 CUTLASS 构建，并针对可变长度批处理进行了优化，可以无缝集成到现有的深度学习框架中。