Prism Attention

Prism Attention 通过新颖的稀疏机制提升 LLM 推理速度

研究人员推出 Prism Attention，这是一种新颖的稀疏注意力机制，旨在提高大型语言模型 (LLM) 推理的效率，尤其是在长上下文场景下。与之前在层之间静态重用注意力索引的方法不同，Prism Attention 采用一种粗粒度到细粒度的策略，该策略适应于特定层的注意力动态。这种方法在受益于跨层共享的同时，仍保持了适应性。实验表明，Prism Attention 在推理和长上下文基准测试中取得了最先进的性能，在解码方面实现了显著的加速。