KVBuffer

KVBuffer 增强了长上下文AI模型的线性注意力服务

研究人员推出了一种新颖的服务机制 KVBuffer，旨在提高线性注意力模型的效率，特别是在长上下文推理方面。这种感知IO的方法缓冲了最近的键和值，实现了分块计算和推测解码的并行验证。KVBuffer 在 Qwen 3.5 和 Nemotron 3 等模型中通过 SGLang 实现，在批量解码方面显示出显著的加速，并增加了推测解码的服务容量。