ErrorGate

OpenAttention 方法在 1% 读取率下仍保持 99% 的准确率

研究人员推出了一种新颖的大型语言模型稀疏注意力方法 OpenAttention，该方法在显著降低计算成本的同时保持了高准确率。该技术利用“尾部代理”来表示键值缓存中未读取的部分，改进了之前丢弃这些信息或效率低下地对其进行采样的旧方法。在 RULER-32K HARD 基准测试上，使用 Llama-3.1-8B 时，OpenAttention 在仅 1% 的读取率下达到了密集注意力准确率的 99%，并且其自定义注意力内核在解码注意力阶段…