Siyuan Yan

Adamas 稀疏注意力机制提升 LLM 长上下文推理效率

研究人员开发了一种名为 Adamas 的新型稀疏注意力机制，旨在提高大型语言模型长上下文推理的效率。Adamas 利用 Hadamard 变换、分桶和 2 位压缩来创建紧凑的表示，并采用轻量级估计方法来选择相关 token。评估表明，Adamas 在自注意力机制和端到端解码方面可以实现显著的加速，同时在复杂推理任务上保持与全注意力机制相当的性能。