Multi Head Latent Attention
PulseAugur coverage of Multi Head Latent Attention — every cluster mentioning Multi Head Latent Attention across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的JSSA方法将LLM长上下文解码速度提升6.43倍
研究人员开发了一种新颖的联合子空间稀疏注意力（JSSA）方法，以提高大型语言模型长上下文解码的效率。JSSA通过学习共享的低维查询-键子空间以获得更好的排序，并采用无收集的索引注意力核来提高效率，从而解决了令牌级选择的挑战。该方法显著提高了解码吞吐量，在128K上下文的NVIDIA B200 GPU上实现了高达6.43倍的性能提升，同时保持了高推理准确性。
-
Kronecker Product Attention 为 LLM 提供 10 倍 KV 缓存压缩
研究人员推出了一种新方法 Kronecker Product Attention (KPA)，用于压缩自回归模型的键值 (KV) 缓存。KPA 使用紧凑矩阵因子的 Kronecker 积之和来表示 KV 激活，这严格地推广了现有的技术，如 Tensor Product Attention。该方法旨在减少限制高效生成的内存占用，同时不牺牲模型的表达能力或需要复杂的 positional encoding 机制。经验表明，KPA 在各种模…
-
新的MLA注意力机制将LLM KV缓存削减高达10倍
多头潜在注意力（MLA）是一种新颖的注意力机制，旨在显著压缩大型语言模型的KV缓存。通过将KV对投影到低维潜在空间，MLA实现了大量的缓存缩减，使DeepSeek-V2/V3和Kimi K2.x等模型能够以更少的内存处理更长的上下文和更大的批次。该技术改变了前缀缓存和注意力计算的实现方式，在模型推理过程中提供了内存使用和计算成本之间更有效的权衡。