gated linear attention
PulseAugur coverage of gated linear attention — every cluster mentioning gated linear attention across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的DAMI方法增强了门控线性注意力模型中的长上下文检索能力
研究人员开发了一种名为双轴内存初始化（DAMI）的新方法，以改进门控线性注意力模型中的长上下文检索。DAMI在训练前配置关键参数，以确保更好的记忆保持和跨不同模型头和层的不同检索距离。当应用于GDN、KDA、GDN2、Mamba-2和RWKV-7等模型时，DAMI与标准的随机初始化相比，检索准确率显著提高了高达16.71个百分点，同时在语言建模和推理任务中保持了可比的性能。
-
i14的Laplace 3B线性注意力模型在AWS Trainium2上训练和部署
i14开发了Laplace 3B，这是一种线性注意力模型，它维护一个固定大小的循环状态，不像传统的Transformer模型那样其键值缓存会随着上下文长度而增长。这项创新使得能够更有效地处理长对话或文档，使AI代理等应用受益。i14与AWS合作，将Laplace 3B适配到AWS Trainium2上，通过TorchNeuron Native为其门控线性注意力（GLA）设计和Muon优化器利用原生PyTorch支持。适配后的模型取得了…
-
新研究探讨注意力机制、稀疏模型和LLM监控
多篇研究论文探讨了大型语言模型和神经网络注意力机制的进展。一篇论文详细介绍了对llama.cpp存储库的修复，以解决注意力计算中的KQ偏差。其他研究深入探讨了稀疏注意力中信息损失与泛化之间的理论权衡，提出了使用量化softmax预训练Transformer的方法，并引入了一种新颖的基于注意力的神经网络，用于XY模型的采样。此外，还提出了一种名为LEMON的新方法，用于使用注意力图对LLM进行零样本误行为监控，另一项研究对注意力头进行排…