English(EN) [Framework] The Asymmetric Key-Value Cache Compression

新框架将大模型缓存大小削减 5.3 倍，提升速度

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-06 16:01

一种名为非对称键值缓存压缩（Asymmetric Key-Value Cache Compression）的新框架已被开发出来，旨在解决具有扩展上下文窗口的大型语言模型所面临的内存带宽瓶颈问题。该方法将缓存的键（Key）和值（Value）组件的量化分离开来，否则这些组件对于大型模型来说可能会膨胀到一TB以上。通过采用全向缩放通道化旋转（Omni-Scaled Canalized Rotation, OScaR）来中和令牌范数不平衡，该框架在不损失语言性能的情况下，显著减小了内存占用并加快了解码速度。 AI

影响该框架有望通过克服当前的硬件内存限制，为大模型实现更大的上下文窗口和更快的推理速度。

排序理由该条目描述了一种优化大模型性能的新技术框架和方法论，以研究论文的形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]

在 Towards AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

Towards AI TIER_1 English(EN) · Mohit Sewak, Ph.D. · 2026-07-06 16:01

[框架] 非对称键值缓存压缩

<h4>Why hardware pipelines hate irregular memory layouts and what you should do instead.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bnzEkcDLZ_wzre7k" /></figure><p><em>A tactile physical installation illustrating the asymmetric decoupling of the key-v…

报道来源 [1]

[框架] 非对称键值缓存压缩

相关话题