Tail-Replay

Tail-Replay 提升混合 LLM 推理速度，实现无约束的前缀重用

研究人员推出了一种新颖的前缀缓存机制 Tail-Replay，旨在提高混合大型语言模型（LLM）的效率。这些模型结合了全注意力（full-attention）和线性注意力（linear-attention）层来处理长上下文，但传统的前缀缓存难以处理这些层不同的状态管理。Tail-Replay 通过重放匹配前缀的短后缀来近似线性注意力状态，从而消除了对循环状态检查点的需求。这种方法实现了无约束的 token 级前缀重用，并在 LongB…