研究人员开发了KVBoost，一个旨在提高大型语言模型（LLM）推理效率的新颖系统。该系统通过实现分块级键值（KV）缓存重用，无论提示内容在何处，都解决了基于Transformer的LLM固有的高预填充延迟问题。KVBoost采用双哈希键控方案以实现灵活的缓存匹配，并结合了选择性重计算（SelectiveRecompute）和混合缓存重计算（CacheBlendRecompute）等修复策略来减轻注意力边界错误。此外，它还利用非对称KV量化和自适应分块以在固定内存预算内优化性能。 AI
影响 这项研究可以显著降低LLM应用的推理成本和延迟，使其更易于访问和响应。
排序理由 该集群包含一篇详细介绍提高LLM推理效率新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
