StartluxLabs

ReaDy方法使用混合线性注意力加速LLM生成

研究人员开发了ReaDy，一种新颖的推测性解码方法，它利用混合线性注意力循环状态来提高自回归生成的速度。通过从这些状态中检索特定于位置的上下文，ReaDy提高了生成速度和接受率。在NVIDIA B200 GPU上使用Qwen3.8-27B模型在七个基准测试中进行了测试，ReaDy实现了比标准自回归解码平均3.16倍的解码加速，并在吞吐量和接受长度方面优于DSpark方法。