ATFlash

ATFlash 方法通过注意力窗口剪枝提高 LLM 推理效率

研究人员开发了 ATFlash，一种提高大型语言模型 (LLM) 推理效率的新颖方法。ATFlash 引入了每 RoPE 波长注意力窗口，根据查询-键内积项的距离对其进行剪枝，从而在不显著影响输出质量的情况下减少计算量。该技术在 Qwen2.5-7B-1M 等模型上，在 1M token 上下文下实现了高达 1.31 倍的速度提升，并保持了 96%-98% 的 top-1 匹配率。