KVzip
PulseAugur coverage of KVzip — every cluster mentioning KVzip across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
KVzip 方法以最小的性能损失高效压缩 LLM KV 缓存
研究人员开发了 KVzip，一种用于大型语言模型 (LLM) 中高效键值 (KV) 缓存管理的新颖方法。该技术使用轻量级 Sink-Attention 门控模块来识别和保留关键 KV 对，允许高达 70% 的 KV 缓存被驱逐，而计算开销可忽略不计。在 Qwen2.5-1M、Qwen3 和 Gemma3 等模型上的实验表明，KVzip 在长上下文理解、代码理解和数学推理等各种任务中保持近乎无损的性能。
-
GateSight 优化 LLM 内存，通过预测 KV 缓存效用
研究人员开发了 GateSight，一种优化混合大型语言模型 (LLM) 中 KV 缓存的新颖方法。GateSight 使用轻量级 MLP，根据 Gated DeltaNet 层的信号预测 KV 条目的未来效用，从而实现查询无关的逐出。该方法旨在在不影响准确性的情况下，减少注意力 KV 缓存的显著内存占用。使用 Qwen3.8-27B 和 Qwen3.8-Flash-Next 模型进行的实验表明，与其他的查询无关方法相比，GateSi…
-
新研究致力于 LLM KV 缓存优化以提高效率 · 已追踪 10 个来源
近期研究论文引入了优化大型语言模型中 KV 缓存管理的新技术，解决了内存瓶颈并提高了推理效率。vToken、GCache、LinearKV、KVDiagnosis、SemPIC、SPECTRA、CommitKV、RippleKV、CoinRAG 和 GraceKV 等方法提出了各种策略，包括令牌级虚拟化、全局影响缓存、与位置无关的缓存、诊断基准测试、语义缓存、谱变换编码、生命周期感知压缩和全局资源分配。这些方法旨在减少内存使用量、加速…