实体
KV-Cache Compression
KV-Cache Compression
PulseAugur coverage of KV-Cache Compression — every cluster mentioning KV-Cache Compression across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
字节跳动发现DeepSeek模型存在周期性“盲点”，源于压缩
字节跳动的Seed团队在DeepSeek的V4系列模型中发现了一个名为“相位敏感性”的重大问题。该问题导致模型的性能根据输入令牌在压缩KV缓存块中的位置呈周期性波动。具体而言，添加几个看似无关紧要的令牌会极大地改变模型的准确性，在长上下文检索测试中有时会降低40多个百分点。这种周期性弱点似乎源于分块KV缓存压缩技术本身，该技术旨在提高效率，但无意中产生了信息不太可能被保留或正确处理的“盲点”。
-
新方法旨在提高 LLM KV 缓存压缩效率
研究人员正在开发先进的技术来压缩大型语言模型 (LLM) 的键值 (KV) 缓存，这是推理过程中内存成本的主要贡献者。JoLT 和 FlashJoLT 等新方法利用张量分解和残差分配，在性能损失极小的情况下实现了显著压缩，如在 Mistral-7B-v0.3 和 Llama 2 13B 等模型上所证明的。其他研究探讨了查询可见性如何影响压缩方法的排名，一些方法在事先不知道查询的情况下表现不佳。此外，PM-KVQ 和 REAL 等方法旨…