研究人员开发了一种名为混合状态传递 (Hybrid State Transfer, HST) 的新方法，以提高长对话中不同大型语言模型之间切换的效率。该技术解决了在混合线性注意力模型中，除了传统的 K/V 缓存外，还需要传递循环状态 (REC) 和卷积历史 (Conv) 的复杂性。通过保持状态顺序和校准适配器，HST 能够实现更快、更准确的模型间状态传递。基准测试显示了显著的任务保留率，Qwen3.5 模型转换的保留率高达 94.11%，并显著加快了传递时间。 AI
影响 通过减少模型切换期间的延迟和计算开销，从而实现 LLM 在生产环境中更高效、更具成本效益的部署。
排序理由 详细介绍 LLM 新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Full-Attention (FA)
- Hugging Face
- Hybrid Linear-Attention LLMs
- Hybrid State Transfer (HST)
- K/V Caches
- Qwen3.5 4B
- Qwen3.5:9b
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
