ReTopK

新的ReTopK方法加速了LLM的长上下文注意力

研究人员开发了ReTopK，一种提高Transformer模型长上下文注意力效率的新颖方法。该技术通过重用过去的注意力决策来加速识别相关键值对的过程，从而降低计算成本。ReTopK在128K上下文长度下实现了超过3倍的注意力计算加速，同时仅带来极小的困惑度增加。该方法在PG19和LongBench等基准测试中表现强劲，优于其他近似注意力方法。