SketchSSM

SketchSSM 方法将 LLM 状态读取效率提升 10 倍

研究人员推出了一种新颖的方法 SketchSSM，通过近似状态读取来提高混合注意力模型的效率。该技术通过缓冲键值来减少 KV 缓存的增长并实现更大的解码批次，同时仍能保持准确性。SketchSSM 在 NVIDIA B300 和 Nemotron 3 Super 等硬件上实现了显著的加速和更高的解码吞吐量，优于标准的 vLLM 基线。