实体 WakeKV

WakeKV

PulseAugur coverage of WakeKV — every cluster mentioning WakeKV across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_280277 · Oct 5 · 04:00

WakeKV 为 LLM 引入反应式 KV 缓存驻留

研究人员开发了 WakeKV，这是一种新颖的 KV 缓存驻留策略，旨在提高大型语言模型的效率。与固定头分类的现有方法不同，WakeKV 会动态地将生成过程中行为发生变化的头移动到可恢复的 CPU 存储库中。这种反应式方法在各种模型和任务中持续提高性能，在内存受限的情况下优于 SnapKV 和 ReasonAlloc 等方法。