实体
AnchorKV
AnchorKV
PulseAugur coverage of AnchorKV — every cluster mentioning AnchorKV across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究致力于LLM KV缓存压缩，以实现高效的长上下文推理 · 已追踪10个来源
2026年8月提交至arXiv的多篇研究论文提出了用于压缩大型语言模型（LLM）键值（KV）缓存的新颖方法，以缓解长上下文推理过程中的内存和带宽瓶颈。技术包括输出感知旋转（OptR）、任务引导剪枝（TaskPress）、锚点残差压缩（AnchorKV）和RoPE对齐剪枝（RAP）。其他方法侧重于重建被省略的注意力贡献（ResKV）或在模型之间传输KV缓存（Cross-Model KV Cache Transfer）。HERALD通过利…
-
新的LLM KV缓存压缩方法应对安全性和效率挑战
研究人员正在开发新的方法来压缩大型语言模型（LLM）中的键值（KV）缓存，以减少内存使用并提高推理效率。AnchorKV通过偏向于不保留有害提示的token来关注安全性，而PolyKV通过对不同的Transformer层应用不同的策略和预算来优化压缩。Tangram在服务框架中实现了实用的非均匀KV缓存压缩，而BACON通过结合观察窗口注意力和最后查询证据来增强多模态KV缓存压缩。此外，TurboQuant和OSCAR代表了KV缓存量…