PulseAugur
中
实时 09:56:29

Latent Compaction 技术使用测试时训练来压缩 LLM KV 缓存

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种名为 Latent Compaction 的新技术，该技术使用测试时训练来压缩大型语言模型中的键值（KV）缓存。该方法通过优化注意力输出和对数归一化器来学习特定文档的紧凑缓存，而无需访问下游问题。在 RULER 和 LongBench 等基准测试上的实验表明，与现有的压缩方法相比，检索准确性有了显著提高，该技术在 Qwen3 和 MiniCPM5 等不同模型规模和系列之间表现出可转移性。 AI

影响 该方法可以显著降低处理 LLM 中长上下文相关的内存和计算成本，从而可能实现更广泛的部署和更高效的推理。

排序理由 该集群包含一篇详细介绍 LLM KV 缓存压缩新方法的学术论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Latent Compaction 技术使用测试时训练来压缩 LLM KV 缓存

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群包含一篇详细介绍 LLM KV 缓存压缩新方法的学术论文。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
1 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han ·

    测试时训练的潜在压缩

    arXiv:2610.20582v1 Announce Type: new Abstract: Long contexts enlarge key--value (KV) caches, increasing memory use and attention costs during generation. Compressing these caches must preserve information for unseen questions. We introduce **Latent Compaction**, which learns a c…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    测试时训练的潜在压缩

    Long contexts enlarge key--value (KV) caches, increasing memory use and attention costs during generation. Compressing these caches must preserve information for unseen questions. We introduce **Latent Compaction**, which learns a compact document-specific cache through test-time…

相关实体

相关话题