实体 KVgrad

KVgrad

PulseAugur coverage of KVgrad — every cluster mentioning KVgrad across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_289491 · Oct 9 · 04:00

Attic-KV 方法通过自我提问提高 LLM KV 缓存效率

研究人员开发了一种名为 Attic-KV 的新方法，可提高大型语言模型中键值（KV）缓存的效率。与需要重读整个上下文的传统方法不同，Attic-KV 采用一种带有问答对的自我提问方法，仅排练最相关的信息。这项技术显著提高了性能，尤其是在内存预算紧张的情况下，在 3% 的保留率下，性能比现有方法高出 41.9 个百分点。