实体
Key-Value Means
Key-Value Means
PulseAugur coverage of Key-Value Means — every cluster mentioning Key-Value Means across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-05-11 research_milestone Publication of a research paper introducing the Key-Value Means attention mechanism. 来源
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Key-Value Means 为 Transformer 提供可扩展内存
研究人员推出了一种新颖的块循环注意力机制 Key-Value Means (KVM)，旨在解决 Transformer 的内存限制。KVM 提供了一种灵活的方法，允许使用固定大小或增长的状态内存，这可以显著提高长上下文任务的效率。该方法可以使用标准操作实现，并支持并行训练，在一个统一的框架中提供了 Transformer 和 RNN 的优势。
-
键值均值注意力机制提供 O(N) Transformer 性能
研究人员推出了一种新的 Transformer 注意力机制——键值均值（KVM），它可以处理固定大小和不断增长的状态。当使用固定大小的缓存实现时，KVM 充当一个 O(N) 的分块 RNN，参数增加极少。可增长的 KVM 缓存版本在长上下文任务上表现出竞争力，提供亚二次预填充时间和亚线性状态增长。该方法与标准操作兼容，支持分块并行训练，并在预填充时间复杂度和内存使用之间提供灵活的权衡。