Ready

新的ReaDy方法通过循环状态提高了LLM的草稿速度

研究人员推出了一种新颖的大型语言模型推测解码方法ReaDy，该方法利用混合线性注意力（HLA）模型的循环状态。这种方法通过允许每个草稿位置查询并整合来自模型已提交循环状态的补充上下文来提高草稿效率。在NVIDIA B200 GPU上使用Qwen3.8-27B模型在数学、代码生成和对话基准测试中进行了测试，ReaDy在标准自回归解码方面平均实现了3.16倍的速度提升，在吞吐量和接受长度方面优于现有的DSpark方法。