ReplaySSM

ReplaySSM 优化状态空间模型，提升解码速度

研究人员推出 ReplaySSM，一种旨在优化 AI 应用中状态空间模型 (SSM) 性能的新方法。该技术通过将状态视为检查点和近期输入的缓冲区来解决混合模型中频繁的状态输入/输出操作造成的瓶颈。通过定期更新检查点，ReplaySSM 显著减少了内存流量并提高了推测解码效率。在 vLLM 中对 Mamba-2 和 Gated DeltaNet 等模型的实现显示，其速度比标准解码快 1.47 倍，在大模型上的吞吐量接近现有推测解码方法的两倍。